Eine Frage steht im Zentrum fast jeder ernsthaften Debatte über künstliche Intelligenz: Wenn ein großes Sprachmodell eine Antwort liefert, schlussfolgert es tatsächlich oder erzeugt es lediglich Text, der dem Schlussfolgern nur ähnelt? Dieser Unterschied ist nicht akademisch. Er prägt, welchen Aufgaben man KI anvertrauen kann, wie viel menschliche Aufsicht erforderlich ist und welche tatsächlichen Konsequenzen der Einsatz dieser Systeme haben wird.
Melanie Mitchell, Kognitionsforscherin und Informatikerin am Santa Fe Institute, argumentiert, dass dem Forschungsfeld derzeit adäquate Methoden fehlen, um diese Frage mit echter Strenge zu beantworten. Ihre Position ist sowohl eine Kritik als auch eine Forschungsagenda, und sie stützt sich auf eine überraschende Inspirationsquelle: die wissenschaftliche Erforschung von Babys und Tieren.
KI als fremde Intelligenz und warum dieser Rahmen alles verändert
Mitchell beschreibt KI als eine Form von „fremder Intelligenz“ („alien intelligence“). Diese Formulierung ist präzise, nicht poetisch. Diese Systeme wurden mit riesigen Mengen von Menschen generierter Sprache, Bildern und Texten aus dem gesamten Internet trainiert, doch die Art und Weise, wie sie lernen, Informationen verarbeiten und Ausgaben erzeugen, unterscheidet sich grundlegend von der Funktionsweise der menschlichen Kognition. Die oberflächliche Ähnlichkeit zum menschlichen Denken ist real. Der zugrundeliegende Mechanismus ist es nicht.
Dies erzeugt ein Messproblem. Die meisten aktuellen Bewertungen von KI-Fähigkeiten sind darauf ausgelegt, die Leistung bei Aufgaben zu testen, anstatt die kognitiven Prozesse hinter dieser Leistung zu untersuchen. Ein System kann bei einem Benchmark gut abschneiden, ohne auch nur annähernd das zu tun, was ein Mensch bei der Lösung desselben Problems tut. Diese Kluft zwischen Ausgabe und Prozess ist der Ort, an dem die schwierigen Fragen liegen.
Mitchell schlägt vor, dass sich KI-Forscher an Disziplinen wenden, die sich bereits mit genau dieser Herausforderung auseinandergesetzt haben. Entwicklungspsychologen untersuchen, wie Kleinkinder Intelligenz erwerben, ohne sie direkt fragen zu können. Vergleichende Psychologen untersuchen die Kognition bei Vögeln, Hunden und Delfinen, von denen keines seine eigenen mentalen Prozesse erklären kann. Beide Bereiche haben experimentelle Methoden entwickelt, um von außen darauf zu schließen, was in einem Geist vorgeht. Mitchell argumentiert, dass diese Methoden angepasst werden können und sollten, um KI-Systeme zu untersuchen.
Das Kluge-Hans-Problem: Eine hundert Jahre alte Warnung
Eines der aufschlussreichsten Beispiele, die Mitchell anführt, stammt aus den frühen 1900er Jahren: ein Pferd namens Kluger Hans, damals berühmt dafür, anscheinend mathematische Berechnungen durchführen zu können. Das Publikum war erstaunt. Forscher entdeckten schließlich, dass das Pferd überhaupt keine Arithmetik betrieb. Es las subtile, unwillkürliche körperliche Signale von den Menschen in seiner Umgebung, Signale, die signalisierten, wann es mit dem Hufstampfen aufhören sollte. Das Pferd reagierte durchaus auf etwas, nur eben nicht auf das, was alle annahmen.
Die Parallele zur KI-Evaluation ist direkt. Wenn ein Sprachmodell eine korrekte Antwort liefert, neigen Beobachter dazu, diesen Erfolg dem kognitiven Prozess zuzuschreiben, den sie selbst anwenden würden, um zur selben Antwort zu gelangen. Aber das Modell reagiert möglicherweise auf völlig andere Signale in der Eingabe, auf Muster in seinen Trainingsdaten, auf statistische Regelmäßigkeiten, die rein gar nichts mit der Schlussfolgerungskette zu tun haben, die die Ausgabe zu beschreiben scheint. Ohne ein sorgfältiges experimentelles Design lässt man sich leicht auf dieselbe Weise täuschen, wie das Publikum damals von Klugen Hans getäuscht wurde.
Dies ist keine hypothetische Sorge. Es ist die methodische Kernherausforderung, von der Mitchell und andere in der Kognitionswissenschaft fordern, dass das KI-Feld sie ernst nimmt. Mike Frank von der Stanford University hat darüber geschrieben, wie KI-Forscher genau aus diesem Grund auf die Entwicklungspsychologie zurückgreifen könnten, und Mitchell dehnt dieses Argument auch auf die Tierkognition aus. Das Forschungsfeld denkt seit mindestens hundert Jahren darüber nach, wie man Köpfe untersuchen kann, die man nicht direkt befragen kann, wie Mitchell anmerkt. Dieses angesammelte Wissen wird in der Mainstream-KI-Forschung weitgehend nicht genutzt.
Warum das jenseits des Labors wichtig ist
Die Einsätze gehen hier weit über die akademische Methodik hinaus. Wenn die Werkzeuge zur Evaluierung von KI-Systemen systematisch irreführend sind, dann basieren Entscheidungen, die auf Basis dieser Evaluierungen getroffen werden – über den Einsatz, über Vertrauen, über das erforderliche Maß an menschlicher Aufsicht –, auf wackeligen Grundlagen.
Mitchell weist darauf hin, dass die KI-Community selbst entlang dieser Achse polarisiert ist. Einige glauben, dass aktuelle Systeme die menschliche Intelligenz in bedeutsamen Weisen übertroffen haben. Andere glauben, dass sie von allem, was menschlicher Kognition ähnelt, noch weit entfernt sind. Diese Meinungsverschiedenheit ist nicht nur Ansichtssache. Sie spiegelt das tatsächliche Fehlen gemeinsamer, rigoroser Methoden wider, um zu messen, was diese Systeme tatsächlich tun.
Das ist es, was die meiste Berichterstattung über KI-Fähigkeiten übersieht. Die Debatte dreht sich nicht primär darum, ob KI beeindruckend ist. Das ist sie offensichtlich. Die Debatte dreht sich darum, ob das Feld über die wissenschaftlichen Werkzeuge verfügt, um zu wissen, was es misst, wenn es die KI-Leistung misst. Mitchells Argument ist, dass dies nicht der Fall ist, zumindest noch nicht, und dass der Bau dieser Werkzeuge erfordert, sich bei Disziplinen zu bedienen, die ähnliche Probleme schon seit sehr langer Zeit im Stillen lösen.
KI-Systeme werden bereits eingesetzt, um bei folgenreichen Aufgaben zu helfen, einschließlich – wie Mitchell und ihre Interviewpartner anmerken – jüngster Durchbrüche in der Mathematik. Die Frage, was diese Systeme bei ihren Erfolgen tatsächlich tun, ist kein philosophischer Luxus. Sie ist eine praktische Voraussetzung dafür zu wissen, wann man ihnen vertrauen kann.
Kurz gesagt
Die Evaluierung von KI-Intelligenz erfordert mehr als das Testen, ob ein System die richtige Antwort liefert. Kognitionswissenschaft und Entwicklungspsychologie bieten experimentelle Frameworks, um zu untersuchen, was tatsächlich in einem Kopf vorgeht – Frameworks, die das KI-Feld weitgehend ignoriert hat. Ohne bessere Messmethoden läuft das Feld Gefahr, den Fehler des Klugen Hans zu wiederholen: eine überzeugende Leistung mit der Realität zu verwechseln.
Basierend auf Berichten von Quanta Magazine.