The Brief
Wie KI funktioniert 4 Min. Lesezeit

Gefälschte Zitate, echte Konsequenzen: Die Entscheidung von arXiv

NAVION

Teilen

Ein Preprint-Server, der Millionen wissenschaftlicher Arbeiten hostet, hat eine klare Grenze gezogen. arXiv verbietet ab sofort Einreichungen, die von KI-Tools halluzinierte Referenzen enthalten. Die Richtlinie zielt auf ein spezifisches und wachsendes Problem ab: KI-Systeme, die plausibel wirkende Zitate von Quellen erzeugen, die nicht existieren. Die Entscheidung, über die Nature berichtet hat, kommt zu einem Zeitpunkt, an der sich die wissenschaftliche Gemeinschaft noch nicht geeinigt hat, ob solche Zitate ein wissenschaftliches Fehlverhalten darstellen.

Genau diese ungelöste Debatte macht das Ganze wert, es genau zu betrachten.

Was ein halluziniertes Zitat tatsächlich ist

Um zu verstehen, warum das wichtig ist, hilft es, präzise zu sein, wie eine KI-Halluzination in einem Forschungskontext aussieht. Large language models generieren Text, indem sie basierend auf Mustern in Trainingsdaten vorhersagen, was als Nächstes kommt. Wenn sie aufgefordert werden, ein Literaturverzeichnis zu erstellen, rufen sie keine echten Quellen aus einer Datenbank ab. Sie erzeugen Text, der wie ein Zitat aussieht: Autorennamen, Zeitschriftentitel, Bandnummern, Seitenbereiche, Publikationsjahre. Das Ergebnis kann völlig überzeugend und völlig fiktiv sein.

Das ist kein Fehler im traditionellen Sinne. Es ist ein strukturelles Merkmal der Funktionsweise dieser Systeme. Sie sind darauf optimiert, flüssige, kohärente Ausgaben zu erzeugen, und nicht darauf, zu überprüfen, ob die von ihnen genannten Quellen tatsächlich existieren. Ein Forscher, der von KI generierten Text ohne Überprüfung jeder Referenz in ein Manuskript einfügt, reicht möglicherweise eine Arbeit ein, die Zitate von Zeitschriften enthält, die diese Artikel nie veröffentlicht haben, oder von Artikeln, die nie geschrieben wurden.

Die Reaktion von arXiv besteht darin, dies als Grund für eine Ablehnung zu werten. Die Richtlinie verlangt keinen Nachweis einer Absicht. Eine halluzinierte Referenz ist eine halluzinierte Referenz, unabhängig davon, ob der Autor wusste, dass sie erfunden war.

Die Frage des Fehlverhaltens, die die Wissenschaft noch nicht geklärt hat

Hier ist, was die meiste Berichterstattung über diese Geschichte übersieht: Das Verbot von arXiv ist eine institutionelle Reaktion auf eine Frage, die die breitere wissenschaftliche Gemeinschaft nicht beantwortet hat. Nature hat berichtet, dass Forscher weiterhin darüber debattieren, ob von KI halluzinierte Zitate ein wissenschaftliches Fehlverhalten darstellen.

Diese Debatte ist nicht trivial. Wissenschaftliches Fehlverhalten ist eine schwerwiegende Einstufung mit beruflichen Konsequenzen. Sie umfasst typischerweise Fabrikation, Fälschung und Plagiat. Ein halluziniertes Zitat ist in gewisser Weise eine erfundene Quelle. Aber die Person, die es eingefügt hat, hat dies möglicherweise getan, ohne zu merken, dass es falsch war, und hat sich auf ein KI-Tool verlassen, dem sie vertraute, um bei einer Routineaufgabe zu helfen.

Die Unterscheidung zwischen Fahrlässigkeit und Fabrikation ist in der akademischen Kultur enorm wichtig. Fahrlässigkeit ist ein Versagen des Prozesses. Fabrikation ist ein ethischer Verstoß. Die beiden haben unterschiedliches Gewicht bei institutionellen Überprüfungen, bei karrierebezogenen Konsequenzen und in der Art und Weise, wie die Gemeinschaft versteht, was schiefgegangen ist.

Die Richtlinie von arXiv umgeht diese Unterscheidung, indem sie sich auf das Ergebnis statt auf die Absicht konzentriert. Eine Arbeit mit halluzinierten Referenzen gehört nicht auf den Server, Punkt. Ob der Autor in böser Absicht gehandelt hat, ist eine separate Frage, eine, für deren Beurteilung arXiv nicht aufgestellt ist. Was der Server kontrollieren kann, ist das, was er hostet.

Warum das weit über einen einzelnen Preprint-Server hinausgeht

Die Entscheidung von arXiv und die Debatte in Nature darüber deuten auf etwas hin, das größer ist als eine Aktualisierung von Richtlinien. Sie signalisieren, dass die Integration von KI-Tools in wissenschaftliche Arbeitsabläufe die Normen überholt hat, die diese Arbeitsabläufe regeln sollen.

Peer-Review, Zitationsstandards und Rahmenwerke für Forschungsintegrität wurden für menschliche Autoren entwickelt, die im Prinzip die Quellen gelesen hatten, die sie zitierten. Die Annahme war, dass eine Referenz in einem Literaturverzeichnis eine Behauptung darstellt: Diese Quelle existiert, sie sagt das aus, was ich impliziere, und sie stützt den Punkt, den ich mache. KI-Tools zerstören diese Annahme auf der Ebene der zugrunde liegenden Mechanik.

Dies schafft eine Verifizierungsbürde, die zuvor in großem Maßstab nicht existierte. Redakteure, Gutachter und Leser stehen nun vor der Möglichkeit, dass jedes beliebige Zitat in jeder beliebigen Arbeit eine plausible Fiktion sein kann. Jede Referenz in jeder Einreichung zu überprüfen, ist keine realistisch zu erwartende Leistung für ehrenamtliche Peer-Reviewer. Dennoch hängt die Integrität des wissenschaftlichen Aufzeichnens davon ab, dass Zitate echt sind.

Die breitere Implikation ist, dass Forschungseinrichtungen, Zeitschriften und Preprint-Server neue Infrastrukturen entwickeln müssen, sei es technische Werkzeuge zur Zitationsverifizierung oder aktualisierte Einreichungsanforderungen, um mit einem Problem umzugehen, das nicht existierte, bevor das Schreiben mit KI-Unterstützung weit verbreitet war. Das Verbot von arXiv ist eine frühe Reaktion. Es wird nicht die letzte sein.

Was dieser Moment offenbart, ist, dass KI-Tools bei Verwendung ohne angemessene Verifizierung die Forschung nicht nur unterstützen. Sie können das Bindegewebe der Wissenschaft leise beschädigen: die Referenzen, die eine Erkenntnis mit einer anderen verknüpfen, die es Lesern ermöglichen, Behauptungen bis zur Evidenz zurückzuverfolgen, und die der wissenschaftlichen Literatur ihre kumulative Struktur verleihen.

Kurz gesagt

arXiv verbietet Arbeiten mit von KI halluzinierten Zitaten, was Referenzen auf Quellen bedeutet, die nicht existieren und von KI-Tools generiert wurden. Die wissenschaftliche Gemeinschaft hat sich noch nicht darauf geeinigt, ob dies ein wissenschaftliches Fehlverhalten darstellt. Die Debatte ist wichtig, weil sie an der Schnittstelle davon liegt, wie KI-Tools funktionieren, wie Forschungsintegrität definiert wird und wer die Verantwortung trägt, wenn eine Maschine eine überzeugende Unwahrheit produziert. Das tiefere Problem besteht darin, dass Zitationsnormen, die für menschliche Autoren geschaffen wurden, nicht für eine Welt gerüstet sind, in der KI Literaturverzeichnisse generieren kann, die echt aussehen, es aber nicht sind.

Basierend auf Berichten von Nature.

Geschrieben von

NAVION