Nur 39 % konnten den Unterschied erkennen. Das sagt eine Menge aus.

Eine Studie mit mehr als 1.600 Erwachsenen hat ein Ergebnis zutage gefördert, das einer der gängigsten Annahmen in der aktuellen Debatte über künstliche Intelligenz und kreative Arbeit widerspricht: dass von KI generierte Texte offensichtlich minderwertig sind und Menschen sie leicht erkennen können. Die Daten legen nahe, dass beides nicht zutrifft.

Was die Zahlen tatsächlich zeigen

Die Forscherinnen Sydney Sears und Deena Weisberg von der Villanova University in Pennsylvania entwarfen ein sorgfältiges Experiment. Sie rekrutierten 1.682 Erwachsene, die so ausgewählt wurden, dass sie die US-Bevölkerung hinsichtlich Geschlecht, Alter und ethnischer Zugehörigkeit widerspiegelten, und baten jeden Teilnehmenden, eine einzige Geschichte zu lesen. Die eine Hälfte las eine von einem Menschen verfasste Geschichte aus einer Literaturzeitschrift. Die andere Hälfte las eine Geschichte, die von ChatGPT 4.0 generiert worden war.

Jede Gruppe wurde daraufhin noch einmal aufgeteilt. Einigen Teilnehmenden wurde die Wahrheit darüber gesagt, was sie gelesen hatten. Anderen wurde das Gegenteil erzählt. Dieses Design ermöglichte es den Forschern, zwei verschiedene Fragen zu trennen: Wie gut ist der Text und wie wichtig ist das Label?

Die Qualitätswerte, gemessen auf einer Skala von -3 bis 3, sprachen eine deutliche Sprache. Teilnehmende, die von KI generierte Geschichten lasen, bewerteten sie mit durchschnittlich 1,54. Diejenigen, die von Menschen verfasste Geschichten lasen, vergaben einen Durchschnittswert von 0,97. Die KI-Geschichten erzielten auch höhere Werte in Bezug darauf, wie fesselnd sie empfanden wurden: 1,42 gegenüber 1,00 für von Menschen verfasste Arbeiten. Ein weiteres Muster zeigte sich unter allen Bedingungen: Geschichten wurden etwas höher bewertet, wenn die Teilnehmenden glaubten, ein Mensch habe sie geschrieben – unabhängig von der tatsächlichen Quelle.

Das Identifikationsproblem

Die Forscher führten zwei weitere Studien durch, um zu testen, ob Menschen KI-Ergebnisse zuverlässig von von Menschen verfassten Texten unterscheiden können. In der ersten identifizierten nur 39 Prozent der Teilnehmenden korrekt, welche Geschichte welche war. In der zweiten, die einige Monate später durchgeführt wurde, lagen 52 Prozent richtig. Die Forscher weisen darauf hin, dass sie keine definitive Erklärung für die Lücke zwischen den beiden Ergebnissen haben, vermuten jedoch, dass sich die Gesellschaft möglicherweise allmählich daran anpasst, von KI generierte Inhalte zu erkennen. So oder so bewegt sich die Leistung in beiden Tests nahe an dem, was man von purem Raten erwarten würde.

Das ist der Punkt, den die meiste Berichterstattung über KI-Schreiben gerne auslässt. In der Debatte wird oft von einer klaren Wahrnehmungsgrenze zwischen menschlichen und maschinellen Ergebnissen ausgegangen, die Leser intuitiv überwinden können. Diese Ergebnisse stellen diese Annahme direkt infrage.

Claire Hardaker von der Lancaster University verweist auf ein tiefer liegendes Unbehagen, das hier im Spiel ist. Ihre eigene Forschung zur Fähigkeit von Menschen, von KI generierte Sprache, Texte und Musik zu identifizieren, ergab, dass Musik die stärkste emotionale Reaktion hervorruft, wenn Menschen entdecken, dass sie getäuscht wurden. Der kreative Bereich ist mit anderen Worten nicht nur eine technische Frage. Er berührt etwas, das Menschen schützen wollen.

Rodney Jones von der University of Reading bietet eine strukturiertere Erklärung dafür, warum KI-Geschichten in dieser speziellen Studie besser abschnitten. Die menschlichen Geschichten stammten aus einer Literaturzeitschrift, einem Genre, das zu Komplexität neigt und dem Leser mehr Anstrengung abverlangt. Wenn man KI bittet, Geschichten mit ähnlichen Merkmalen zu produzieren, greift sie wahrscheinlich standardmäßig auf etwas zurück, das zugänglicher und leichter zu verarbeiten ist. Jones drückt es klar aus: Literarische Texte sind nicht sehr beliebt, weil sie harte Arbeit bedeuten. Menschen bevorzugen tendenziell Inhalte, die reibungslos fließen.

Was das über das Experiment hinaus bedeutet

Die Erkenntnis, dass Menschen KI-Texte bevorzugen – zumindest in diesem Kontext –, klärt nicht die größere Frage, was KI-Kreativität eigentlich ist oder welchen Wert sie hat. Weisberg selbst zieht eine Trennlinie. Sie beschreibt die KI-Ausgabe als „vanilliger“ als menschliches Schreiben und führt den Qualitätsunterschied in den Bewertungen eher auf diese Zugänglichkeit als auf eine tiefere künstlerische Leistung zurück. Sie plant zukünftige Experimente mit verschiedenen Textarten, um zu testen, ob das Muster Bestand hat.

Ihre breitere Perspektive ist es wert, bedacht zu werden. Sie argumentiert, dass KI in der Lage sein wird, Werke von echtem künstlerischem Wert zu produzieren, dass dieser Wert jedoch möglicherweise an einer anderen Skala gemessen werden muss als der, die auf menschliche Kreativität angewendet wird. Beides ist nicht dasselbe, selbst wenn sie Ergebnisse hervorbringen können, die kaum voneinander zu unterscheiden sind.

Dies ist das Spannungsfeld, das die Studie aufzeigt, ohne es vollständig zu lösen. Kultureller Widerstand gegen KI-generierte Kunst ist real und dokumentiert. Die Studie selbst merkt an, dass eine Kurzgeschichte, die mit dem Commonwealth-Preis ausgezeichnet und in Granta veröffentlicht wurde, von einigen beschuldigt wurde, KI-generiert zu sein – etwas, das der Wettbewerb ausdrücklich untersagte, obwohl eine Untersuchung ergebnislos blieb. Künstler haben Einwände dagegen erhoben, dass KI-generierte Kunst in großen Auktionshäusern auftaucht, mit dem Argument, dass Modelle, die mit vorhandenen Bildern trainiert wurden, eine Form der unbefugten Nutzung menschlicher Arbeit darstellen.

Diese Bedenken werden durch Vorzugswerte nicht ausgeräumt. Menschen können etwas bevorzugen und gleichzeitig Einwände gegen seine Entstehungsweise haben. Das Experiment misst eine Sache: wie Leser isoliert auf Text reagieren, ohne dessen Ursprung zu kennen. Es misst nicht, ob diese Präferenz bei voller Transparenz Bestand hätte oder ob sie über verschiedene Genres, Längen und Kontexte hinweg Gültigkeit hätte.

Kurz gesagt

Die meisten Menschen in dieser Studie bewerteten von KI generierte Geschichten besser als von Menschen geschriebene, und weniger als die Hälfte konnte korrekt erkennen, welche welche war. Die Präferenz scheint eher mit der Lesbarkeit als mit der Tiefe zusammenzuhängen. KI-Texte neigen dazu, glatter und leichter zu verarbeiten zu sein, was bei Kurzzeittests gut abschneidet, sich aber möglicherweise nicht auf jede Art von kreativer Arbeit übertragen lässt. Die tiefere Frage, was es für die menschliche Kreativität bedeutet, wenn Maschinen in großem Maßstab ununterscheidbare Ergebnisse produzieren können, bleibt nach wie vor offen.

Basierend auf Berichten von New Scientist.