Un serveur de prépublications qui héberge des millions d’articles scientifiques a tracé une ligne claire. arXiv interdit désormais les soumissions qui contiennent des références inventées par des outils d’IA. Cette politique cible un problème précis et grandissant, à savoir les systèmes d’IA qui génèrent des citations plausibles pour des sources qui n’existent pas. Cette décision, rapportée par Nature, arrive à un moment où la communauté scientifique ne s’est pas encore mise d’accord sur le point de savoir si de telles citations constituent de la inconduite en recherche.
Ce débat non résolu est précisément ce qui rend cette question digne d’un examen attentif.
Ce qu’est réellement une citation inventée
Pour comprendre pourquoi cela importe, il est utile d’être précis sur la forme que prend une hallucination d’IA dans un contexte de recherche. Les LLM génèrent du texte en prédisant ce qui vient ensuite d’après des motifs présents dans les données d’entraînement. Lorsqu’on leur demande de produire une bibliographie, ils ne récupèrent pas de vraies sources dans une base de données. Ils génèrent du texte qui ressemble à une citation: noms d’auteurs, titres de revues, numéros de volume, plages de pages, années de publication. Le résultat peut être entièrement convaincant et entièrement fictif.
Il ne s’agit pas d’un bogue au sens traditionnel. C’est une caractéristique structurelle de la manière dont ces systèmes fonctionnent. Ils sont optimisés pour produire un résultat fluide et cohérent, et non pour vérifier que les sources qu’ils nomment existent réellement. Un chercheur qui colle du texte généré par l’IA dans un manuscrit sans vérifier chaque référence peut soumettre un article contenant des citations vers des revues qui n’ont jamais publié ces articles, ou vers des articles qui n’ont jamais été écrits.
La réponse d’arXiv consiste à traiter cela comme un motif de rejet. La politique n’exige pas de preuve d’intention. Une référence inventée est une référence inventée, que l’auteur ait su ou non qu’elle était fabriquée.
La question de l’inconduite que la science n’a pas tranchée
Voici ce que la plupart des couvertures de cette histoire oublient: l’interdiction d’arXiv est une réponse institutionnelle à une question à laquelle la communauté scientifique au sens large n’a pas répondu. Nature a rapporté que les chercheurs continuent de débattre pour savoir si les citations inventées par l’IA constituent de la inconduite en recherche.
Ce débat n’est pas trivial. L’inconduite en recherche est une qualification grave aux conséquences professionnelles. Elle couvre généralement la fabrication, la falsification et le plagiat. Une citation inventée est, dans un sens, une source fabriquée. Mais la personne qui l’a inclue a pu le faire sans réaliser qu’elle était fausse, en s’appuyant sur un outil d’IA auquel elle faisait confiance pour l’assister dans une tâche de routine.
La distinction entre la négligence et la fabrication importe énormément dans la culture académique. La négligence est un échec de processus. La fabrication est une violation éthique. Les deux portent un poids différent dans l’examen institutionnel, dans les conséquences sur la carrière et dans la manière dont la communauté comprend ce qui a mal tourné.
La politique d’arXiv contourne cette distinction en se concentrant sur le résultat plutôt que sur l’intention. Un article avec des références inventées n’a pas sa place sur le serveur, point final. La question de savoir si l’auteur a agi de mauvaise foi est une question distincte, qu’arXiv n’est pas en mesure de juger. Ce que le serveur peut contrôler, c’est ce qu’il héberge.
Pourquoi cela va bien au-delà d’un seul serveur de prépublications
La décision d’arXiv et le débat de Nature autour de celle-ci pointent vers quelque chose de plus vaste qu’une mise à jour de politique. Ils signalent que l’intégration des outils d’IA dans les flux de travail scientifiques a devancé les normes conçues pour régir ces flux de travail.
L’évaluation par les pairs, les normes de citation et les cadres d’intégrité de la recherche ont été construits autour d’auteurs humains qui, en principe, avaient lu les sources qu’ils citaient. L’hypothèse était qu’une référence dans une bibliographie représentait une affirmation: cette source existe, elle dit ce que je laisse entendre qu’elle dit, et elle soutient le point que je défends. Les outils d’IA brisent cette hypothèse au niveau de la mécanique de base.
Cela crée une charge de vérification qui n’existait pas auparavant à grande échelle. Les éditeurs, les évaluateurs et les lecteurs font désormais face à la possibilité que n’importe quelle citation dans n’importe quel article puisse être une fiction plausible. Vérifier chaque référence dans chaque soumission n’est pas une attente réaliste pour des évaluateurs par les pairs bénévoles. Pourtant, l’intégrité des dossiers scientifiques dépend du fait que les citations soient réelles.
L’implication plus large est que les institutions de recherche, les revues et les serveurs de prépublications devront développer de nouvelles infrastructures, qu’il s’agisse d’outils techniques pour la vérification des citations ou d’exigences de soumission mises à jour, pour faire face à un problème qui n’existait pas avant que l’aide à l’écriture par l’IA ne se répande. L’interdiction d’arXiv est une première réponse. Ce ne sera pas la dernière.
Ce que ce moment révèle, c’est que les outils d’IA, lorsqu’ils sont utilisés sans vérification adéquate, ne se contentent pas d’assister la recherche. Ils peuvent corrompre discrètement le tissu conjonctif de la science: les références qui lient une découverte à une autre, qui permettent aux lecteurs de retracer des affirmations jusqu’aux preuves, et qui donnent à la littérature scientifique sa structure cumulative.
En bref
arXiv interdit les articles contenant des citations inventées par l’IA, c’est-à-dire des références à des sources qui n’existent pas, générées par des outils d’IA. La communauté scientifique ne s’est pas encore mise d’accord sur le point de savoir si cela constitue de la inconduite en recherche. Ce débat importe car il se situe à l’intersection de la manière dont les outils d’IA fonctionnent, de la manière dont l’intégrité de la recherche est définie, et de qui porte la responsabilité lorsqu’une machine produit un mensonge convaincant. Le problème plus profond est que les normes de citation conçues pour des auteurs humains ne sont pas armées pour un monde où l’IA peut générer des bibliographies qui ont l’air réelles mais ne le sont pas.
D’après un reportage de Nature.