Une étude portant sur plus de 1 600 adultes a produit un résultat qui va à l’encontre de l’une des hypothèses les plus courantes dans le débat actuel sur l’intelligence artificielle et le travail créatif : l’idée que les écrits générés par l’IA sont manifestement inférieurs et que les gens peuvent facilement les repérer. Les données suggèrent que ni l’un ni l’autre n’est vrai.
Ce que disent réellement les chiffres
Les chercheuses Sydney Sears et Deena Weisberg, de l’Université Villanova en Pennsylvanie, ont conçu une expérience rigoureuse. Elles ont recruté 1 682 adultes, sélectionnés de manière à refléter la population américaine en termes de genre, d’âge et d’origine ethnique, et ont demandé à chaque participant de lire une seule histoire. La moitié a lu un texte écrit par un humain, tiré d’une revue littéraire. L’autre moitié a lu une histoire générée par ChatGPT 4.0.
Chaque groupe a ensuite été divisé en deux. À certains participants, on a dit la vérité sur ce qu’ils venaient de lire. À d’autres, on a dit le contraire. Cette conception a permis aux chercheurs de séparer deux questions distinctes : quelle est la qualité de l’écriture, et quelle est l’importance de l’étiquette ?
Les scores de qualité, mesurés sur une échelle de -3 à 3, racontent une histoire claire. Les participants qui ont lu des histoires générées par l’IA leur ont attribué une moyenne de 1,54. Ceux qui ont lu les histoires écrites par des humains ont donné une note moyenne de 0,97. Les histoires de l’IA ont également obtenu des scores plus élevés en termes d’immersion : 1,42 contre 1,00 pour le travail d’origine humaine. Une tendance supplémentaire est apparue dans toutes les conditions : les histoires étaient un peu mieux notées lorsque les participants croyaient qu’un humain les avait écrites, indépendamment de la source réelle.
Le problème de l’identification
Les chercheurs ont mené deux autres études pour tester si les gens pouvaient distinguer de manière fiable la production d’IA de l’écriture humaine. Dans la première, seulement 39 pour cent des participants ont correctement identifié quelle histoire était laquelle. Dans la seconde, menée plusieurs mois plus tard, 52 pour cent ont eu bon. Les chercheurs soulignent qu’ils n’ont pas d’explication définitive pour l’écart entre les deux résultats, bien qu’ils suggèrent que la société s’adapte peut-être progressivement pour reconnaître le contenu généré par l’IA. Quoi qu’il en soit, les performances lors des deux tests oscillent autour de ce que l’on attendrait d’un choix aléatoire.
C’est ce que la plupart des reportages sur l’écriture par IA ont tendance à omettre. Le débat suppose souvent une fracture perceptive claire entre la production humaine et celle de la machine, que les lecteurs peuvent naviguer intuitivement. Ces résultats remettent directement en question cette hypothèse.
Claire Hardaker, de l’Université de Lancaster, met en lumière un malaise plus large à l’œuvre ici. Ses propres recherches sur la capacité des gens à identifier la parole, le texte et la musique générés par l’IA ont révélé que la musique provoque la réaction émotionnelle la plus forte lorsque les gens découvrent qu’ils ont été trompés. Le domaine créatif, en d’autres termes, n’est pas seulement une question technique. Il touche à quelque chose que les gens veulent protéger.
Rodney Jones, de l’Université de Reading, propose une explication plus structurelle sur les raisons pour lesquelles l’écriture par IA a obtenu de meilleurs scores dans cette étude particulière. Les histoires humaines provenaient d’une revue littéraire, un genre qui tend vers la complexité et demande plus d’efforts au lecteur. L’IA, à qui l’on a demandé de produire des histoires aux traits similaires, s’est probablement rabattue sur quelque chose de plus accessible et de plus facile à traiter. Jones l’exprime clairement : l’écriture littéraire n’est pas très populaire, parce que c’est un travail difficile. Les gens ont tendance à préférer le contenu qui s’écoule sans friction.
Ce que cela signifie au-delà de l’expérience
Le constat selon lequel les gens préfèrent l’écriture par IA, du moins dans ce contexte, ne tranche pas la question plus vaste de savoir ce qu’est réellement la créativité de l’IA ou ce qu’elle vaut. Weisberg elle-même fait une distinction. Elle décrit la production de l’IA comme plus « vanille » que l’écriture humaine, et attribue l’écart de qualité dans les scores à cette accessibilité plutôt qu’à une quelconque réalisation artistique plus profonde. Elle prévoit de futures expériences sur différents types d’écrits pour vérifier si cette tendance se confirme.
Sa vision plus large mérite qu’on s’y arrête. Elle soutient que l’IA sera capable de produire des œuvres dotées d’une véritable valeur artistique, mais que cette valeur devra peut-être être mesurée sur une autre échelle que celle appliquée à la créativité humaine. Les deux ne sont pas la même chose, même s’ils peuvent produire des résultats difficiles à différencier.
C’est la tension que l’étude met en lumière sans la résoudre totalement. La résistance culturelle à l’art généré par l’IA est réelle et documentée. L’étude elle-même note qu’une nouvelle ayant reçu le prix du Commonwealth et publiée dans Granta a été accusée par certains d’avoir été générée par l’IA, ce que le concours interdisait explicitement, bien qu’une enquête n’ait pas permis de trancher. Des artistes ont soulevé des objections quant à la présence d’art généré par l’IA dans les grandes maisons de ventes aux enchères, arguant que les models entraînés sur des images existantes représentent une forme d’utilisation non autorisée du travail humain.
Ces préoccupations ne sont pas réglées par les scores de préférence. Les gens peuvent simultanément préférer quelque chose et contester la manière dont il a été fait. L’expérience mesure une seule chose : la façon dont les lecteurs réagissent au texte de manière isolée, sans en connaître l’origine. Elle ne mesure pas si cette préférence survivrait à une transparence totale, ni si elle se mantiendrait à travers les genres, les longueurs et les contextes.
En bref
La plupart des personnes interrogées dans le cadre de cette étude ont mieux noté les histoires générées par l’IA que celles écrites par des humains, et moins de la moitié ont pu identifier correctement laquelle était laquelle. La préférence semble liée à la lisibilité plutôt qu’à la profondeur. L’écriture par IA a tendance à être plus fluide et plus facile à traiter, ce qui obtient de bons résultats dans les tests de format court, mais peut ne pas se traduire par chaque type de travail créatif. La question plus profonde, à savoir ce que cela implique pour la créativité humaine lorsque des machines peuvent produire à grande échelle des résultats impossibles à distinguer, reste entièrement ouverte.
D’après un reportage de New Scientist.