KI-Unternehmen veröffentlichen detaillierte Berichte darüber, wie Menschen ihre Produkte nutzen. Diese Berichte sind sorgfältig konstruiert, methodisch kohärent und laut unabhängigen Forschern systematisch unvollständig. Eine neue Forschungsinitiative namens AI Observatory versucht, diese Lücke zu füllen, und das, was sie herausgefunden hat, stellt einige der am häufigsten wiederholten Annahmen darüber infrage, wie generative KI tatsächlich genutzt wird.
Die Daten, die weggelassen werden
Der Anthropic Economic Index ist eine der am häufigsten zitierten Informationsquellen über Nutzungsmuster von KI. Wie der Name schon sagt, konzentriert er sich auf Arbeit und Produktivität. Gespräche, die nicht mit diesen Kategorien zusammenhängen, werden herausgefiltert, bevor die Analyse beginnt.
Als Forscher des AI Observatory die eigene Filtermethode von Anthropic auf ihren unabhängigen Datensatz anwandten, wären fast die Hälfte aller Gespräche, konkret 48%, von der Analyse ausgeschlossen worden. Diese ausgeschlossenen Gespräche waren nicht neutral. Sie betrafen deutlich häufiger Themen wie Gesundheit und Beziehungen, Erwachsenen- oder illegale Inhalte, Belästigung und Hassrede sowie sexuelle Inhalte. Die Lücke zwischen dem, was in den gefilterten Berichten von Anthropic erscheint, und dem, was die ungefilterten Daten zeigen, ist nicht marginal. Sie ist strukturell.
Das ist nicht nur bei Anthropic so. Der Bericht von OpenAI aus dem Jahr 2025 zur ChatGPT-Nutzung ergab, dass nur 30% der Interaktionen von Verbrauchern arbeitsbezogen waren. Der Großteil dessen, wie Menschen diese Tools tatsächlich nutzen, fällt aus dem Rahmen, den Unternehmensberichte tendenziell konstruieren.
Anka Reuel, Doktorandin der Informatik am Trustworthy AI Research Lab in Stanford und Co-Leiterin des AI Observatory, bringt das Problem auf den Punkt: Es gibt keine unabhängige Quelle, um zu bestätigen, was KI-Unternehmen berichten. Das AI Observatory wurde entwickelt, um diese Quelle zu sein.
Ein anderes Bild über verschiedene Modelle hinweg und im Zeitverlauf
Das AI Observatory hat 24.521 Gespräche über 85.633 Gesprächsrunden hinweg aggregiert, die aus sieben realen Datensätzen stammen, die mit Einwilligung der Nutzer erhoben wurden. An diesen Gesprächen waren 5.000 Nutzer beteiligt, die zwischen 2023 und 2025 mit 52 verschiedenen Modellen interagierten, darunter ChatGPT, Gemini, Claude und Grok.
Die Daten zeigen, dass die KI-Nutzung weder einheitlich noch statisch ist. Verschiedene Plattformen ziehen unterschiedliches Verhalten an. Nutzer wandten sich häufiger an Grok und Gemini, um Informationen abzurufen. Insbesondere Grok wurde stark für Nachrichten und Politik genutzt, und hier konzentrierten sich auch tendenziell Desinformationen. Anthropic’s Claude wurde häufiger zum Programmieren verwendet. Gemini zog mehr soziale Interaktionen und Rollenspiele an. ChatGPT wurde oft als Hausaufenhilfe genutzt.
Unterschiede zeigten sich sogar innerhalb desselben Modells über verschiedene Versionen hinweg. Gespräche mit ChatGPT, das von GPT-3.5 angetrieben wurde, tendierten dazu, kürzer zu sein. Diejenigen mit GPT-4o waren länger und iterativer, ein Muster, das mit der Verbindung dieser Version zu einem tieferen Nutzerengagement übereinstimmt.
Mit der Zeit wurden die Gespräche in einem der größten in die Studie einbezogenen Datensätze länger und ausführlicher. Smalltalk nahm zu. Die Tendenz von KI-Assistenten, sich als Chatbots zu identifizieren, ging zurück. Sensible Anwendungsfälle, definiert als Austausche mit potenziell schädlichen oder eingeschränkten Inhalten, gingen zurück, was möglicherweise widerspiegelt, dass im Laufe der Zeit effektivere Plattformschutzmaßnahmen eingesetzt wurden.
Keine dieser Dynamiken taucht in Unternehmensberichten mit irgendeiner Konsistenz auf. Wie Shayne Longpre, ein frisch gebackener Doktorand des MIT Media Lab und Co-Leiter der Forschung, anmerkt: Kein einzelner Unternehmensbericht erzählt die ganze Geschichte.
Warum der blinde Fleck über die Forschung hinaus wichtig ist
Das ist es, was die meiste Berichterstattung über KI-Nutzungsdaten übersieht: Die Frage ist nicht nur akademisch. Politische Entscheidungsträger, Regulierungsbehörden und Institutionen treffen folgenschwere Entscheidungen über die Risiken und Vorteile von KI, die größtenteils auf Daten basieren, die Unternehmen veröffentlichen, eingerahmt von den Fragen, die Unternehmen zu stellen beschließen.
David Widder, Assistenzprofessor an der School of Information der UT-Austin, der die Mensch-KI-Interaktion erforscht, formuliert das Problem direkt. Wenn man versucht zu bewerten, ob ein KI-System für allgemeine Zwecke hauptsächlich für vorteilhafte oder schädliche Zwecke genutzt wird, gibt es derzeit keine unabhängige Möglichkeit, diese Frage zu beantworten. Die relevanten Informationen sind proprietär.
Der Datensatz des AI Observatory ist klein im Vergleich zu dem, was die großen Labore besitzen. Der Economic Index von Anthropic stützte sich auf 1 Million Claude-Gespräche. Der Nutzungsbericht von OpenAI analysierte 1,5 Millionen ChatGPT-Gespräche. Die 24.521 Gespräche des Observatory sind ein Bruchteil davon. Die Forscher räumen zudem ein, dass ihre freiwillig zur Verfügung gestellten Daten sensible Nutzungen wahrscheinlich unterrepräsentieren, da Nutzer möglicherweise weniger geneigt sind, diese Interaktionen zu teilen.
Aber die Skalierung ist nicht das einzige Problem. Das tiefer liegende Problem ist, dass, wenn die einzigen verfügbaren Daten von Parteien stammen, die ein direktes Interesse daran haben, wie diese Daten auf sie zurückfallen, das entstehende Bild zwangsläufig unvollständig ist. KI-Unternehmen neigen, wie unabhängige Forscher anmerken, dazu, Ergebnisse zu veröffentlichen, die ihre Plattformen in einem günstigen Licht erscheinen lassen. Das ist keine Verschwörung. Es ist eine Anreizstruktur.
Die Daten des AI Observatory werden der breiteren Forschungsgemeinschaft zur Verfügung gestellt, und das Team beabsichtigt, seine Datensätze im Laufe der Zeit zu erweitern. Reuel hat erklärt, dass es ideal wäre, wenn KI-Unternehmen ihre Daten auf datenschutzfreundliche Weise mit unabhängigen Forschern teilen würden. Bis das passiert, agiert jeder, der sich ausschließlich auf Unternehmensberichte verlässt, um zu verstehen, wie generative KI genutzt wird, wie Reuel es ausdrückt, im ungesicherten Raum und trifft folgenschwere Entscheidungen, ohne zu wissen, was jenseits dieser Unternehmensnarrative tatsächlich passiert.
Kurz gesagt
KI-Nutzungsberichte von großen Unternehmen sind real, aber selektiv. Sie neigen dazu, Arbeit und Produktivität zu betonen, während sie große Teile des tatsächlichen Nutzerverhaltens herausfiltern, einschließlich sensibler, persönlicher und potenziell schädlicher Interaktionen. Unabhängige Forschung wie das AI Observatory beginnt, ein vollständigeres Bild zutage zu fördern, das bedeutsame Unterschiede über Modelle hinweg, im Zeitverlauf und über das gesamte Spektrum menschlichen Verhaltens hinweg zeigt. Um die tatsächliche Rolle der KI in der Gesellschaft zu verstehen, sind Daten erforderlich, deren vollständige Offenlegung für kein einzelnes Unternehmen einen Anreiz darstellt.
Basierend auf Berichten von MIT Technology Review.