La startup japonaise Sakana a déclaré que son IA a généré La première publication scientifique évaluée par des pairs. Mais bien que la réclamation ne soit pas fausse, il y a des mises en garde significatives à noter.
Le débattre tourbillonnant autour de l’IA et de son rôle dans le processus scientifique devient plus féroce de jour en jour. De nombreux chercheurs ne croient pas que l’IA est tout à fait prête à servir de «co-scientifique», tandis que d’autres pensent qu’il y a un potentiel – mais reconnaissent que c’est le début.
Sakana tombe dans ce dernier camp.
La société a déclaré qu’elle avait utilisé un système d’IA appelé IA Scientist-V2 pour générer un document que Sakana a ensuite soumis à un atelier à ICLR, une conférence de longue date et réputée d’IA. Sakana affirme que les organisateurs de l’atelier, ainsi que le leadership d’ICLR, avaient accepté de travailler avec l’entreprise pour mener une expérience pour une revue en double aveugle des manuscrits générés par l’AI.
Sakana a déclaré qu’il avait collaboré avec des chercheurs de l’Université de la Colombie-Britannique et de l’Université d’Oxford pour soumettre trois articles générés par l’IA à l’atelier susmentionné pour l’examen par les pairs. L’IA Scientist-V2 a généré les articles «de bout en bout», affirme Sakana, y compris les hypothèses scientifiques, les expériences et le code expérimental, les analyses de données, les visualisations, le texte et les titres.
« Nous avons généré des idées de recherche en fournissant le résumé et la description de l’atelier à l’IA », a déclaré Robert Lange, chercheur et membre fondateur de Sakana, à TechCrunch par e-mail. «Cela a assuré que les articles générés étaient sur le sujet et les soumissions appropriées.»
Un article sur les trois a été accepté dans l’atelier ICLR – un article qui jette un objectif critique sur les techniques de formation pour les modèles d’IA. Sakana a déclaré qu’il avait immédiatement retiré le document avant qu’il ne puisse être publié dans l’intérêt de la transparence et du respect des conventions ICLR.
« Le document accepté présente tous deux une nouvelle méthode prometteuse pour former des réseaux de neurones et montre qu’il reste des défis empiriques », a déclaré Lange. «Il fournit un point de données intéressant pour susciter une nouvelle enquête scientifique.»
Mais la réussite n’est pas aussi impressionnante qu’elle pourrait paraître à première vue.
Dans un article de blog, Sakana admet que son IA a parfois commis des erreurs de citation «embarrassantes», par exemple attribuant incorrectement une méthode à un article de 2016 au lieu de l’œuvre originale de 1997.
Le document de Sakana n’a pas non plus subi autant de contrôle que d’autres publications évaluées par des pairs. Parce que l’entreprise l’a retirée après l’examen initial des pairs, le document n’a pas reçu de «méta-révision» supplémentaire, au cours de laquelle les organisateurs de l’atelier auraient pu en théorie le rejeter.
Ensuite, il y a le fait que les taux d’acceptation pour les ateliers de conférence ont tendance à être plus élevés que les taux d’acceptation pour la «piste de conférence» principale – un fait que Sakana mentionne franchement dans son article de blog. La société a déclaré qu’aucune de ses études générées par l’IA-AI, a adopté sa publication interne pour la conférence ICLR.
Matthew Guzdial, chercheur de l’IA et professeur adjoint à l’Université de l’Alberta, a qualifié les résultats de Sakana de «un peu trompeur».
« Les gens de Sakana ont sélectionné les articles de certains nombre de ceux générés, ce qui signifie qu’ils utilisaient le jugement humain en termes de sélection des sorties dans lesquelles ils pensaient pouvoir entrer », a-t-il déclaré par e-mail. « Ce que je pense que cela montre, c’est que les humains et l’IA peuvent être efficaces, pas que l’IA seule puisse créer des progrès scientifiques. »
Mike Cook, chercheur au King’s College de Londres, spécialisé dans l’IA, a remis en question la rigueur des pairs examinateurs et de l’atelier.
« De nouveaux ateliers, comme celui-ci, sont souvent examinés par des chercheurs plus juniors », a-t-il déclaré à TechCrunch. « Il convient également de noter que cet atelier concerne des résultats et des difficultés négatifs – ce qui est génial, j’ai déjà organisé un atelier similaire – mais il est sans doute plus facile d’obtenir une IA pour écrire sur un échec de manière convaincante. »
Cook a ajouté qu’il n’était pas surpris qu’une IA puisse passer l’examen par les pairs, étant donné que l’IA excelle dans l’écriture de prose à consonance humaine. En partie-Généré par AI papiers La révision de la revue passante n’est même pas nouvelle, a souligné Cook, et les dilemmes éthiques que cela pose pour les sciences.
Les lacunes techniques de l’IA – comme sa tendance halluciner – Rendre de nombreux scientifiques se méfiant de l’approuver pour un travail sérieux. De plus, les experts craignent que l’IA pourrait simplement finir par générer du bruit dans la littérature scientifique, sans augmenter les progrès.
« Nous devons nous demander si le résultat (de Sakana) concerne la qualité de l’IA pour concevoir et mener des expériences, ou s’il s’agit de la qualité de la vente d’idées aux humains – que nous savons déjà que l’IA est excellente », a déclaré Cook. «Il y a une différence entre passer l’examen par les pairs et contribuer aux connaissances à un domaine.»
Sakana, à son crédit, ne prétend pas que son IA peut produire un travail scientifique révolutionnaire – ou même particulièrement nouveau -. L’objectif de l’expérience était plutôt «d’étudier la qualité de la recherche générée par l’IA», a déclaré la société, et de mettre en évidence le besoin urgent de «normes concernant la science générée par l’IA».
« (T) Voici des questions difficiles sur la question de savoir si la science (générée par l’IA) devrait d’abord être jugée sur ses propres mérites pour éviter les préjugés », a écrit la société. «À l’avenir, nous continuerons d’échanger des opinions avec la communauté de recherche sur l’état de cette technologie pour nous assurer qu’elle ne se transforme pas à une situation à l’avenir où son seul but est de passer l’examen par les pairs, ce qui sape considérablement le sens du processus d’examen des pairs scientifique.»
