In den letzten Jahren wurde das öffentliche Verständnis von künstlicher Intelligenz fast ausschließlich durch große Sprachmodelle geprägt. Chatbots, Textgeneratoren, Programmierassistenten: Das sind die Gesichter der KI, denen die meisten Menschen begegnet sind. Nun zieht eine andere Kategorie erhebliche Aufmerksamkeit, beträchtliche Finanzierung und große Forschungsanstrengungen auf sich. Sie läuft unter dem Namen „Weltmodelle“, und zu verstehen, was dieser Begriff tatsächlich bedeutet – und was er nicht bedeutet –, ist nützlicher, als bloß den Ankündigungen zu folgen.
Ein Begriff, der vieles gleichzeitig bedeutet
Das Erste, was man über Weltmodelle verstehen muss, ist, dass die Bezeichnung umstritten ist. Wie Ben Mildenhall, Mitgründer von World Labs und Miterfinder der Neural Radiance Field (NeRF)-Technik, es treffend ausdrückte: Fragt man verschiedene Unternehmen, was ein Weltmodell ist, gibt jedes eine leicht andere Antwort.
Im allgemeinsten Sinne ist ein Weltmodell jedes System, das eine Interaktion als Eingabe nimmt und simuliert, was als Nächstes in einer Umgebung passieren würde. Runway, das Video-KI-Unternehmen, definiert es als ein System, das eine interne Repräsentation einer Umgebung aufbaut und diese Repräsentation nutzt, um zukünftige Ereignisse zu simulieren. Fei-Fei Li, die Computer-Vision-Pionierin und Mitgründerin von World Labs, hat drei Kriterien vorgeschlagen: Das System erzeugt Ausgaben mit wahrnehmungsbezogener, geometrischer und physikalischer Konsistenz; es ist von Grund auf multimodal aufgebaut; und es erzeugt Folgezustände auf der Grundlage von Eingabeaktionen.
Vincent Sitzmann, Assistant Professor am MIT und Leiter der Scene Representation Group innerhalb des CSAIL, bietet eine bodenständigere Beobachtung darüber, wo das Feld heute tatsächlich steht. Die meisten Menschen, die den Begriff „Weltmodell“ verwenden, so stellt er fest, sprechen in Wirklichkeit über das Generieren von Pixeln: die Erzeugung realistischer Videos, die auf Aktionen reagieren. Das ist eine bedeutende Fähigkeit, aber es ist nicht dasselbe wie die Simulation von Physik oder das tiefgründige Durchdenken von Raumbeziehungen. Die Lücke zwischen der Marketingsprache und der technischen Realität sollte man im Hinterkopf behalten.
Wie sich Weltmodelle von LLMs unterscheiden und warum das wichtig ist
Die Unterscheidung zwischen Weltmodellen und großen Sprachmodellen ist nicht nur technischer Natur. Sie spiegelt eine andere Theorie darüber wider, was Intelligenz erfordert.
LLMs arbeiten mit Sprache. Sie sind, wie Fei-Fei Li schrieb, „Wortschmiede im Dunkeln“: in der Lage, eloquenten, fundierten Text zu produzieren, jedoch ohne Verankerung in der physikalischen Welt. Yann LeCun, ehemaliger Chef-KI-Wissenschaftler bei Meta, hat argumentiert, dass die Erweiterung von LLMs in Richtung menschlicher Intelligenz in seinen Worten „völliger Unsinn“ sei. Clem Delangue, CEO von Hugging Face, einer großen Plattform zum Hosten von Sprachmodellen, hat angedeutet, dass die LLM-Blase sich ihren Grenzen nähern könnte, während er gleichzeitig feststellte, dass KI in den Bereichen Biologie, Chemie, Bild, Audio und Video noch am Anfang steht.
Weltmodelle sind darauf ausgelegt, diese Lücke zu schließen. Während eine LLM-Interaktion rundenbasiert ist – ein Text-Prompt gefolgt von einer Text-Antwort –, beschreibt Mildenhall ein Weltmodell als synchron und in Echtzeit. Der Benutzer oder Agent bewegt sich nicht durch eine lineare Abfolge von Interaktionen. Stattdessen agiert er mit etwas, das sich wie eine Umgebung verhält, in der mehrere Dinge parallel geschehen und kontinuierliche Aktionen möglich sind. Das ist eine grundlegend andere Art der Interaktion – eher vergleichbar mit dem Navigieren durch einen Raum als mit dem Führen eines Gesprächs.
Die praktischen Ziele von Weltmodellen spiegeln diesen Unterschied wider. Forscher und Unternehmen in diesem Bereich konzentrieren sich auf das Trainieren und Testen von Robotern, die Erstellung dreidimensionaler Assets für Spiele und Filmproduktionen sowie die Durchführung wissenschaftlicher Simulationen. Das sind Bereiche, in denen Sprache allein nicht ausreicht und in denen die Fähigkeit, räumliche Beziehungen und physikalische Dynamiken zu modellieren, essenziell ist.
Warum die Welle der Finanzierungen einen strukturellen Wandel signalisiert
Die kommerzielle Dynamik hinter Weltmodellen ist real. World Labs und AMI haben Berichten zufolge im Februar bzw. März jeweils rund 1 Milliarde US-Dollar eingesammelt. Runway beschaffte im Februar 315 Millionen US-Dollar. Das sind keine spekulativen Wetten auf eine ferne Zukunft: Sie spiegeln die Überzeugung wider, dass konkrete, kurzfristige Anwendungen in greifbarer Nähe sind.
Genau das wird in den meisten Berichten über Weltmodelle übersehen. Im Gegensatz zu großen Sprachmodellen, die mit einer Allzweck-Schnittstelle (dem Chatbot) begannen und erst danach nach Anwendungsfällen suchten, arbeiten die führenden Weltmodell-Initiativen in die entgegengesetzte Richtung. Sie beginnen mit konkreten Problemen: Roboter-Training, Asset-Generierung, wissenschaftliche Modellierung. Die Schnittstellen und Werkzeuge, die diese Fähigkeiten letztendlich den Nutzern zur Verfügung stellen werden, werden derzeit erst noch entwickelt.
Der Begriff „Weltmodell“ selbst hat eine längere Geschichte, als die aktuelle Welle von Ankündigungen vermuten lässt. Er taucht seit Jahren in der Forschung zu Reinforcement Learning und Robotik auf, wo er Modelle beschreibt, die vorhersagen, wie sich Umgebungen verändern. Neu ist der Ehrgeiz, diese Idee zu universell einsetzbaren, generativen Systemen zu skalieren, die auf riesigen Mengen visueller und multimodaler Daten trainiert werden.
Kurz gesagt
Weltmodelle sind kein Ersatz für große Sprachmodelle. Sie sind ein anderer Ansatz für ein anderes Problem: Wie man KI-Systeme baut, die räumlich denken, physikalische Dynamiken simulieren und mit Umgebungen in Echtzeit statt über Textaustausch interagieren können. Der Begriff ist in der Tat überfrachtet und wird verwendet, um alles von der Videogenerierung über die Bewertung von Roboter-Policies bis hin zur Erstellung von 3D-Assets zu beschreiben. Die grundlegende Überzeugung, die von Forschern am MIT, bei World Labs und bei Runway geteilt wird, ist, dass eine einzige fundamentale Modellarchitektur irgendwann in der Lage sein sollte, viele dieser Probleme zu lösen. Ob sich diese Überzeugung als richtig erweist, ist noch eine offene Frage. Was jetzt schon klar ist: Das Thema hat sich von einem Forschungsthema zu einer kommerziellen Priorität entwickelt, und die darauf aufbauenden Anwendungen basieren auf praktischen Bedürfnissen, nicht auf abstrakter Spekulation.
Basierend auf Berichten von Ars Technica.