Frontier-KI-Modelle halten ihre Denkprozesse geheim. Oder das glaubten zumindest die Unternehmen, die sie entwickeln. Ein Team von Informatikern hat nun gezeigt, dass diese Geheimhaltung anfälliger ist als angenommen – mit Auswirkungen, die von der Sicherheit persönlicher Daten bis hin zur Geopolitik der KI-Entwicklung reichen.
Die offensichtlich verborgene Schwachstelle
Wenn fortschrittliche KI-Modelle komplexe Probleme angehen, liefern sie nicht einfach nur eine Antwort. Sie arbeiten sich durch eine Gedankenkette (Chain of Thought), brechen das Problem in Schritte herunter und analysieren jeden einzelnen nacheinander. Unternehmen behandeln diese Denkspuren als geschützt (proprietary). Ihre Offenlegung würde es Konkurrenten ermöglichen, sie für das Training neuer Modelle zu verwenden, ein Prozess, der als Distillation bekannt ist. Um dies zu verhindern, verschlüsseln die Unternehmen den Denkprozess und senden ihn in einer Form an die Maschine des Nutzers, die eigentlich nicht lesbar sein soll.
Das entscheidende Wort ist „eigentlich“. Forscher der Universität Tübingen, des Max-Planck-Instituts, des KI-Sicherheitsinstituts MATS Research und des Sicherheitsunternehmens Snyk haben eine strukturelle Schwachstelle in der praktischen Umsetzung dieser Verschlüsselung identifiziert. Die meisten großen KI-Anbieter bieten ihre Modelle in verschiedenen Größen an. Größere Modelle sind leistungsfähiger und teurer im Betrieb; kleinere Versionen existieren für Nutzer, die geringere Kosten wünschen. Das Entscheidende: Die kleineren Modelle teilen dieselbe Entschlüsselungsinfrastruktur wie ihre größeren Pendants, wurden jedoch weniger auf Alignment trainiert. Das bedeutet, dass sie weniger wahrscheinlich die Offenlegung dessen verweigern, was sie gerade verarbeiten.
Indem die Forscher verschlüsselte Denkspuren an eine kleinere Version derselben Modellfamilie fütterten, stellten sie fest, dass sie das verborgene Denken, das das größere Modell produziert hatte, rekonstruieren konnten. Der Angriff erfordert nicht das Knacken eines Verschlüsselungsschlüssels. Er nutzt eine Lücke aus, wie konsistent das Alignment über eine Modellfamilie hinweg angewendet wird. Wie es Alexander Panfilov, ein Informatiker an der Universität Tübingen, der an der Arbeit beteiligt war, ausdrückte: „Alle großen Frontier-Modell-Anbieter, die wir getestet haben, teilen diese Schwachstelle.“
Dieselbe Methode brachte zudem etwas zutage, das unmittelbarer alarmierend ist: persönliche Informationen, einschließlich Passwörtern und API-Keys, die in den Denkspuren eingebettet waren, welche von der Maschine eines Nutzers abgefangen wurden. OpenAI, Anthropic und Google wurden auf die Schwachstelle aufmerksam gemacht, und jede dieser Firmen hat seither ihre API angepasst, um zu verhindern, dass private Informationen auf diese Weise extrahiert werden. Das Distillation-Risiko wurde jedoch nicht vollständig gelöst. Panfilov merkt an, dass eine vollständige Behebung eine grundlegende Überholung der Strukturierung der APIs dieser Unternehmen erfordern würde.
Die Distillation-Frage und was die Beweise tatsächlich zeigen
Die Forschung eröffnet eine zweite, stärker umstrittene Front: die Frage, ob einige KI-Modelle bereits durch die Distillation von Denkprozessen aus den geschlossenen Systemen von Wettbewerbern gebaut wurden.
Um dies zu untersuchen, fütterten die Forscher eine Reihe von Modellen mit 90 Fragen und gaben dann einigen Open-Weight-Modellen die ersten paar Wörter von Denkspuren, die von proprietären Systemen abgefangen worden waren. In mehreren Fällen generierten die Open-Source-Modelle Ausgaben, die stark mit dem verborgenen Denken der geschlossenen Modelle übereinstimmten. Dies war besonders ausgeprägt bei Kimi K3, einem Open-Weight-Modell des chinesischen Unternehmens Moonshot AI, das für bestimmte Prompts Ausgaben erzeugte, die den versteckten Denkspuren von Claude Opus 4.8 und GPT 5.6 Sol erstaunlich ähnelten. Zwei andere Open-Weight-Modelle, DeepSeek aus China und Inkling des US-Unternehmens Thinking Machines, zeigten dieses Muster nicht.
Die Forscher sind vorsichtig bezüglich der Bedeutung dieser Ergebnisse. Ihr Paper stellt ausdrücklich fest, dass die Befunde „keine kausale Distillation belegen“ können. Ähnlichkeit in den Denkprozessen ist ein Indiz, kein Beweis. Moonshot AI hat vor der Veröffentlichung nicht auf Bitten um einen Kommentar reagiert.
Dies ist von Bedeutung, da Distillation zu einem politisch aufgeladenen Thema geworden ist. OpenAI erklärte gegenüber US-Gesetzgebern, DeepSeek habe offenbar eines seiner Modelle kopiert, um sein Reasoning-Modell R1 zu bauen. Anthropic teilte Gesetzgebern mit, Alibaba habe seine Modelle systematisch destilliert, um Qwen zu bauen. Das sind schwerwiegende Behauptungen, und die neue Forschung fügt der Debatte eine technische Dimension hinzu, ohne sie zu entscheiden. Kyle Miller, ein Forscher am Center for Security and Emerging Technology, einem Think Tank für Technologiepolitik, hat angemerkt, dass unklar bleibt, in welchem Maße Distillation der chinesischen KI-Entwicklung tatsächlich nützt, und dass die Abschaffung der Möglichkeit zur Distillation seiner Ansicht nach die Wettbewerbslandschaft nicht dramatisch verändern würde.
Warum dies über einen Sicherheits-Patch hinausgeht
Hier ist, was die meiste Berichterstattung über diese Geschichte verpasst. Die Schwachstelle selbst wurde teilweise behoben. Das tieferliegende Problem ist struktureller Natur und verweist auf eine Spannung, die sich nicht durch ein API-Update lösen lässt.
KI-Unternehmen haben Geschäftsmodelle darum herum aufgebaut, ihre Denkprozesse proprietär zu halten. Diese Geheimhaltung ist sowohl ein Wettbewerbsvorteil (moat) als auch, wie sie argumentieren, eine Sicherheitsmaßnahme. Aber die Architektur, die erforderlich ist, um KI-Fähigkeiten in großem Maßstab bereitzustellen – wobei Modelle unterschiedlicher Größe Infrastrukturen gemeinsam nutzen –, erzeugt Nahtstellen. Diese Nahtstellen können gefunden und ausgenutzt werden. Die Forscher demonstrierten dies mit einer Methode, die Florian Tramer, ein Informatiker an der ETH Zürich mit Spezialisierung auf Computersicherheit, in ihrer Eleganz als „sehr cool“ bezeichnete: Nachrichten an eine schwächere Modellvariante schicken, die sich den Entschlüsselungsschlüssel teilt, aber ein schwächeres Alignment aufweist.
Die breitere Implikation ist, dass KI-Systeme ihre inneren Abläufe auf Weisen offenbaren, die ihre Entwickler nicht vollständig vorhersehen. Distillation wird in der gesamten Branche bereits breit eingesetzt. Mark Zuckerberg, CEO von Meta, beschrieb es in einem Blogbeitrag als „ein wichtiges Prinzip dafür, wie das Open-Source-Ökosystem funktioniert“. Yarin Gal, ein Informatiker an der Oxford University, hat angemerkt, dass Distillation dazu beigetragen hat, KI schneller voranzubringen, und dass universelle Einschränkungen dieser Praxis das Fortschrittstempo für alle verlangsamen würden.
Die Frage ist nicht, ob Distillation stattfindet. Sie tut es, offen und legitim, in der gesamten Branche. Die Frage ist, ob die Grenzen, die Unternehmen um ihre proprietären Denkprozesse ziehen, so solide sind, wie sie glauben. Diese Forschung legt nahe, dass dem nicht so ist.
Kurz gefasst
Ein Forschungsteam hat gezeigt, dass das verborgene Denken großer KI-Modelle extrahiert werden kann, indem eine Lücke zwischen größeren und kleineren Versionen derselben Modellfamilie ausgenutzt wird. Die Methode legte zudem persönliche Daten frei, die in Denkspuren eingebettet waren – eine Schwachstelle, die inzwischen gepatcht wurde. Dieselbe Technik wirft Fragen auf, ob einige Open-Weight-Modelle unter Verwendung destillierter Denkprozesse von geschlossenen Konkurrenten gebaut wurden, auch wenn die Beweise eher indikativ als schlüssig sind. Die tiefere Lektion lautet, dass die Architektur der KI-Bereitstellung strukturelle Schwachstellen schafft, die nicht immer mit einem einfachen Update behoben werden können.
Basierend auf Berichten von Wired.