Das am häufigsten geteilte Diagramm in der KI misst etwas sehr Spezielles und leicht Misszuverstehendes: wie lange eine Aufgabe, gemessen an der Zeit von Menschen, von einem Modell erfolgreich gelöst werden kann. Die Evaluierungs-Nonprofit-Organisation METR hat dieses Diagramm nun aktualisiert, und die Überarbeitung ist weniger wegen des Trendwiesen von Bedeutung, den sie fortführt, als wegen der Schwächen, die sie endlich offenbart. Modelle verbessern sich weiterhin in rasantem Tempo. Bei Aufgaben, die Urteilsvermögen erfordern, halten sie jedoch nicht Schritt.
Was das ursprüngliche Diagramm tatsächlich maß
Die Methode von METR war konzeptionell einfach und bei der Wiedergabe leicht falsch zu verstehen. Modelle versuchten sich an einer großen Reihe von Aufgaben, von denen jede zuvor auch von Menschen gelöst worden war. Jede Aufgabe wurde danach bewertet, wie viel Zeit die menschlichen Tester zu ihrer Bewältigung benötigten. Die Modelle wurden dann entsprechend der Länge der Aufgaben eingestuft, die sie erfolgreich bewältigen konnten.
Das Hauptergebnis war auffällig: Alle vier Monate verdoppelte sich die Länge der Aufgaben, die Frontier-Modelle erfolgreich lösen konnten. Aber das Maß war subtil, und der Graph wurde vielerorts falsch interpretiert. Eine Linie in einem Diagramm über die Aufgabenlänge ist keine Linie über allgemeine Intelligenz, und viele Menschen haben sie genau so gelesen.
Es gab zudem eine leisere Einschränkung. Das ursprüngliche Set stützte sich auf verifizierbare Aufgaben, also solche, bei denen Software automatisch prüfen kann, ob die KI erfolgreich war oder versagte. Das ist kein Zufall. Es handelt sich um genau die Art von Aufgabe, für die wir zu trainieren wissen.
Warum verifizierbare Aufgaben der einfache Teil sind
Das Trainingsrezept ist gut verstanden. Forscher lassen ein System eine Aufgabe viele Male versuchen, stärken die neuronalen Pfade, die zum Erfolg beitragen, und schwächen jene ab, die zum Misserfolg führen. Das ist Reinforcement Learning, und es funktioniert am besten, wenn der Erfolg von einer Maschine überprüft werden kann. Aus diesem Grund sind Programmierung und Mathematik zu solchen Stärken der KI geworden: Ein Programm läuft entweder oder eben nicht, ein Beweis hält stand oder eben nicht.
Betrachte nun die Wahl einer neuen Forschungsrichtung. Der Erfolg ist schwammig, und es kann sehr lange dauern, bis man herausfindet, ob die Entscheidung gut war. Dieselbe Eigenschaft, die diese Aufgaben schwer trainierbar macht, macht sie auch schwer bewertbar, weshalb das erste Diagramm von METR sie komplett außen vor ließ.
Dennoch ist dies genau die Kategorie, auf die es ankommt, wenn KI-Systeme jemals Forschung und Entwicklung automatisieren sollen. Das aktualisierte Diagramm fügt Aufgaben hinzu, von denen man annimmt, dass Menschen für sie viel länger brauchen, sowie offenere Aufgaben.
Wo die Modelle zu kurz greifen
Bei einer neuen Aufgabe wurden Modelle gebeten, neue KI-Evaluierungen zu entwerfen, die METR in der eigenen Forschung verwenden könnte, wobei menschliche METR-Mitarbeiter die Ergebnisse bewerteten. Die fortschrittlichsten Modelle sind mittlerweile in der Softwareentwicklung besser als fast jeder Mensch, aber hier war das Ergebnis eindeutig: Nicht eine einzige von der KI entworfene Evaluierung war gut genug, als dass die METR-Mitarbeiter sie als nützlich erachtet hätten.
Bei einer anderen Aufgabe bewerteten Modelle philosophische Argumente, was als Stellvertreter für die Ausübung von gutem Urteilsvermögen dient. Auch hier blieben die Modelle hinter der menschlichen Leistung zurück. METR selbst weist darauf hin, dass die eigenen Mitarbeiter uneins darüber sind, wie relevant diese Aufgabe für die Automatisierung von KI-Forschung und -Entwicklung ist, was eine nützliche Erinnerung daran ist, wie ungeklärt die Frage der Messung nach wie vor ist.
Es gibt jedoch ein hoffnungsvolles Detail. Einige der neuesten Modelle, wie etwa Opus 5.5, neigen dazu, bei den Aufgaben zum Evaluierungsdesign das zu erreichen, was METR als knapp über der Messlatte liegend bezeichnet. Das ist für die Forschung von METR zwar noch nicht nutzbar, aber vor einem Jahr schnitt noch jedes Modell deutlich unterhalb der Messlatte ab.
Die Vorbehalte sind erheblich. Die Bearbeitungszeiten im neuen Bericht sind größtenteils Schätzungen, da das Beahlen von Menschen für Aufgaben, die Hunderte von Stunden dauern könnten oder die nur von wenigen Experten gelöst werden können, unbezahlbar teuer ist. Bei der philosophischen Aufgabe bewertete eine einzige Person die meisten Argumente, sodass die Modelle danach beurteilt wurden, wie gut sie mit dieser einen Person übereinstimmten. Und METR schließt insgesamt nur wenige solcher Aufgaben ein, da sie so schwer zu entwerfen, zu bewerten und zeitlich einzuschätzen sind.
Warum die Debatte nicht beigelegt ist
Das ist der Teil, den die meiste Berichterstattung vermisst: Der Bericht löst die große Frage nicht, und die darin zitierten Experten sagen das auch. Sayash Kapoor, Informatiker und kommender Professor an der UC Berkeley, begrüßt den Vorstoß hin zu kreativeren Evaluierungen. Er war von dem Mangel bei offenen Arbeiten nicht überrascht und verwies auf ein Preprint vom August, in dem er und Kollaborateure herausfanden, dass KI-Modelle menschliche Informatikforschung noch nicht eigenständig reproduzieren können. Er vermutet, dass der Forschungssinn, also die Fähigkeit, vielversprechende Fragen, Hypothesen und Experimente auszuwählen, sich als großer Flaschenhals erweisen wird.
Andere argumentieren genau umgekehrt: dass Modelle, die auf leicht zu verifizierenden Aufgaben trainiert wurden, irgendwann auch offene Aufgaben bewältigen werden. Der Fortschritt bei verifizierbaren Aufgaben scheint sich nicht zu verlangsamen, was diese Möglichkeit am Leben hält. Najoung Kim von der Boston University sagt, dass die beobachtete Verbesserung uns etwas über den gegenwärtigen Moment verrät, sie sich aber unsicher ist, wie man das extrapolieren soll. Matt Putz von METR fügt hinzu, dass Trends für auf Urteilsvermögen basierende Aufgaben wahrscheinlich niemals so sauber und robust sein werden wie jene für leicht spezifizierbare.
Die Einsätze erklären die Aufmerksamkeit. Ein separater, stark geschwärzter METR-Bericht Anfang dieses Monats behauptete, KI könnte den KI-Fortschritt bei Anthropic um den Faktor zwei beschleunigen, was Ängste vor rekursivem Selbstimprovement anfachte, bei dem KI-Systeme ihre eigenen Nachfolger ohne menschliches Zutun entwerfen. Die neuen Erkenntnisse stehen in einem unbequemen Verhältnis zu dieser Furcht: Genau jene Fähigkeiten, die eine solche Schleife ermöglichen würden, nämlich Sinn für das Wesentliche und Urteilsvermögen, sind die Bereiche, in denen Modelle nach wie vor hinterherhinken.
Was dies jenseits des Diagramms bedeutet
Ein einzelnes Trenddiagramm kann eine Technologie mit ungleichmäßigen Stärken nicht beschreiben. Die praktische Lektion besteht darin, zu fragen, um welche Art von Aufgabe es bei einer Behauptung geht. Dort, wo der Erfolg automatisch überprüft werden kann, schreitet die KI-Fähigkeit schnell voran. Dort, wo der Erfolg von Urteilsvermögen, Kontext und langen Feedbackschleifen abhängt, ist das Bild trüber, und die Messwerkzeuge sind selbst noch unreif.
Das rahmt auch die menschliche Rolle neu ein. Die Aufgaben, bei denen Modelle weiterhin kämpfen, also die Auswahl dessen, was es zu untersuchen lohnt, und die Entscheidung darüber, was als gut gilt, sind jene, bei denen das menschliche Urteilsvermögen am sichtbarsten im Prozess ist. Werkzeuge, die Volumen und verifizierbare Arbeit gut bewältigen, können Menschen den Rücken freihalten, damit sie mehr Zeit genau dafür aufwenden können.
Kurz gesagt
Das aktualisierte Zeithorizontdiagramm von METR bestätigt, dass sich die KI bei verifizierbaren Aufgaben weiterhin schnell verbessert, während es gleichzeitig zeigt, dass Modelle bei urteilsintensiven Arbeiten wie dem Entwurf nützlicher Evaluierungen oder der Bewertung philosophischer Argumente immer noch zu kurz greifen. Neuere Modelle rücken näher heran, aber die Beweislast ist dünn, weil solche Aufgaben schwer zu entwerfen, zu bewerten und zeitlich einzuschätzen sind. Experten sind sich uneins darüber, ob Fähigkeiten von leicht zu überprüfenden Aufgaben irgendwann übertragbar sein werden, sodass die ehrliche Lesart lautet, dass die Frage offen und nicht beantwortet ist. Betrachte jedes einzelne Diagramm zum KI-Fortschritt als Messung einer einzigen, engen Sache und frage, was es auslässt.
Basierend auf Berichten von MIT Technology Review.
Zur Originalstudie.