Ein von einer KI generierter Geheimdienstbericht identifizierte fälschlicherweise ein chinesisches Schiff als Transporteur von Komponenten für ein Atomwaffenprogramm. Das US-Militär stand kurz davor, dieses Schiff abzufangen und zu betreten, und Luftunterstützung war bereit. Der Fehler wurde entdeckt, bevor Maßnahmen ergriffen wurden, allerdings nur knapp. Eine Quelle beschrieb die Episode mit den Worten, sie habe “fast einen Krieg ausgelöst”.
Dies ist kein hypothetisches Szenario über zukünftige KI-Risiken. Es ist ein berichteter Beinahe-Zwischenfall, der mit ungewöhnlicher Klarheit veranschaulicht, was passiert, wenn KI-Halluzinationen auf Entscheidungsfindungen mit hohem Einsatz prallen.
Wie ein Chatbot die Ladung eines Schiffes umschrieb
Laut Berichten von CNN nutzte ein Analyst des US Special Operations Command einen Chatbot, um Geheimdienstinformationen über das Frachtmanifest des chinesischen Schiffes zu verarbeiten. Das Werkzeug kombinierte Open-Source-Intelligence mit klassifizierten Signals Intelligence, die in Regierungssystemen gespeichert waren, und verpackte das Ergebnis dann in einen formellen Bericht. Dieser Bericht kam zu dem Schluss, dass das Schiff Komponenten für ein Atomwaffenprogramm durch den Nahen Osten transportierte.
Die Schlussfolgerung war völlig falsch.
Der Chatbot hatte, in der Sprache, die jedem, der die KI-Entwicklung verfolgt, inzwischen vertraut ist, halluziniert. Er generierte eine selbstbewusst klingende Ausgabe, die nicht der Realität entsprach, weil die zugrunde liegenden Daten keinen ausreichenden Kontext für eine genaue Antwort boten. Das Militär bereitete eine physische Interzeption vor, bevor Offiziere den Fehler in der Ausgabe der KI erkannten.
Das ist es, was die meiste Berichterstattung über KI-Halluzinationen übersieht: Das Problem ist nicht, dass KI-Systeme gelegentlich falsche Antworten in Umgebungen mit geringem Einsatz produzieren. Das Problem ist, dass die Ausgaben so formatiert, strukturiert und geliefert werden, dass sie autoritär wirken. Ein mit KI-Unterstützung generierter Geheimdienstbericht kommt nicht mit einem Haftungsausschluss an. Er kommt so an, wie ein Geheimdienstbericht aussieht.
Ein Militär, das beschleunigt, statt zu pausieren
Die Episode fügt sich in ein größeres Muster der schnellen KI-Einführung im gesamten US-Verteidigungsapparat ein. Im Januar startete das Verteidigungsministerium eine von ihm als “KI-Beschleunigungsstrategie” bezeichnete Initiative mit dem erklärten Ziel, Daten über föderierte Systeme hinweg für das vom Ministerium genannte “KI-Exploitation” verfügbar zu machen. Verteidigungsminister Pete Hegseth rahmte die Initiative um die Datenqualität: “KI ist nur so gut wie die Daten, die sie erhält.”
Das Ministerium ist auch auf der Werkzeugseite schnell vorangekommen. Im vergangenen Dezember kündigte es die Nutzung von Google’s Gemini for Government als Grundlage für eine maßgeschneiderte Plattform namens GenAI.mil an. Im darauffolgenden Monat wurde Grok for Government als Option auf derselben Plattform hinzugefügt. Anthropic bietet eine maßgeschneiderte Version von Claude für die US-Geheimdienstarbeit an. Ein Vertreter des Pentagons erklärte im Juni vor dem Kongress, dass 1,5 Millionen aktive Mitarbeiter des Verteidigungsministeriums die generativen KI-Werkzeuge des Militärs genutzt haben und dass generative KI bereits eingesetzt wird, um vom Kongress geforderte Berichte zu erstellen.
Das Ausmaß des Einsatzes ist beträchtlich. Das gilt auch für die Geschwindigkeit. Der beinahe erfolgte Vorfall mit dem chinesischen Schiff fand nicht im luftleeren Raum statt: Er ereignete sich innerhalb einer Institution, die die KI-Integration zu einer strategischen Priorität gemacht hat.
Hier gibt es eine Spannung, die Aufmerksamkeit verdient. Eine Erklärung des Außenministeriums aus dem Jahr 2023 zur verantwortungsvollen militärischen Nutzung von KI forderte eine “sorgfältige Abwägung von Risiken und Nutzen” und bestand darauf, dass eine rechenschaftspflichtige Nutzung von KI-Systemen immer “einen Menschen in der Schleife, eine verantwortliche menschliche Befehls- und Kontrollkette” umfassen muss. Die berichtete Episode legt nahe, dass technisch gesehen ein Mensch in der Schleife war, in dem Sinne, dass ein Analyst den Bericht eingereicht hat. Aber der Analyst scheint der Ausgabe des Chatbots ohne ausreichende Überprüfung vertraut zu haben. Der Mensch in der Schleife ist nur so effektiv wie seine Fähigkeit, das zu hinterfragen, was die KI produziert hat.
Was dies über KI in Umgebungen mit hohem Einsatz offenbart
Das Halluzinationsproblem ist nicht neu und es ist nicht auf militärische Kontexte beschränkt. Seitdem “halluzinieren” im Jahr 2023 zum Wort des Jahres des Cambridge Dictionary wurde, sind dokumentierte Fälle in Medizin, Recht, Journalismus, akademischer Forschung und Unternehmensumgebungen aufgetaucht. Forscher haben angedeutet, dass es unmöglich sein könnte, große Sprachmodelle vollständig am Halluzinieren zu hindern, unabhängig davon, wie Prompts konstruiert sind.
Was der militärische Beinahe-Zwischenfall diesem Bild hinzufügt, ist ein Gefühl der Konsequenz in einer anderen Größenordnung. Eine halluzinierende KI im Kundenservice produziert eine falsche Antwort, die korrigiert werden kann. Eine halluzinierende KI in einem Geheimdienstkontext kann eine falsche Antwort produzieren, die eine Kette von Ereignissen auslöst, an denen Streitkräfte, internationale Beziehungen und die Möglichkeit eines bewaffneten Konflikts beteiligt sind.
Das tiefere Problem ist struktureller Natur. KI-Werkzeuge werden schneller in Arbeitsabläufe integriert, als die Verifizierungsrahmen aufgebaut werden, die erforderlich sind, um ihre Fehler zu erkennen. Die Beschleunigungsstrategie des Verteidigungsministeriums ist explizit in Bezug auf Geschwindigkeit und Skalierung. Die Sicherheitsvorkehrungen hingegen werden in allgemeinen Begriffen beschrieben: prinzipientreue Nutzung, menschliche Aufsicht, sorgfältige Abwägung. Das ist nicht dasselbe wie operative Protokolle, die den Fehler im Bericht über das chinesische Schiff hätten abfangen können, bevor er das Stadium der militärischen Vorbereitung erreichte.
KI augmentiert die menschliche Analyse. Sie kann Datenmengen verarbeiten, die kein einzelner Analyst allein bewältigen könnte. Das ist eine echte Fähigkeit. Aber die Augmentierung erfordert, dass die Menschen, die neben diesen Werkzeugen arbeiten, sowohl die Zeit als auch die institutionelle Unterstützung haben, um die Ausgaben kritisch zu verifizieren, insbesondere dann, wenn diese Ausgaben Entscheidungen mit irreversiblen Konsequenzen beeinflussen.
Kurz gesagt
Ein KI-Chatbot führte Open-Source- und klassifizierte Geheimdienstinformationen zusammen und produzierte einen falschen Bericht, der fast eine Abfangaktion des US-Militärs gegen ein chinesisches Schiff ausgelöst hätte. Der Fehler wurde entdeckt, aber die Episode offenbart eine strukturelle Lücke: Das US-Militär setzt KI in großem Maßstab und mit hoher Geschwindigkeit ein, während die Verifizierungsrahmen, die zur Erkennung von Halluzinationen in Kontexten mit hohem Einsatz erforderlich sind, immer noch hinterherhinken. KI-Halluzinationen sind ein bekanntes, dokumentiertes und möglicherweise nicht reduzierbares Problem. In Umgebungen mit geringem Einsatz sind sie eine Unannehmlichkeit. Im militärischen Geheimdienstwesen sind sie eine völlig andere Kategorie von Risiko.
Basierend auf Berichten von Ars Technica.