Roboter lernen am besten durch Handeln. KI-Agenten bauen das Gym.

Einem Roboter beizubringen, eine Tasse in eine Spüle zu stellen oder eine Limonadendose von einem Regal auf einen Tisch zu bewegen, klingt einfach. Ist es aber nicht. Jede Aktion erfordert Übung in Dutzenden verschiedener Umgebungen, und all diese Umgebungen physisch einzurichten, erfordert enorm viel Zeit und Arbeit. Dies ist der zentrale Flaschenhals, der die Entwicklung leistungsfähiger Roboter verlangsamt, und genau dieses Problem soll ein neues System namens SceneSmith lösen, das von Forschenden des MIT CSAIL und des Toyota Research Institute entwickelt wurde.

Das Datenproblem, das Roboter im Labor hält

Roboter lernen, ähnlich wie Menschen, am besten durch Erfahrung. Die Herausforderung besteht darin, dass das Training in der realen Welt langsam, teuer und schwer skalierbar ist. Simulationen bieten eine naheliegende Alternative: den Aufbau virtueller Umgebungen, in denen Roboter ohne physische Konsequenzen üben, scheitern und es erneut versuchen können. Das Problem waren nie die Physics Engines, die diese Simulatoren antreiben. Diese haben sich erheblich verbessert. Die Lücke lag in der Qualität und Vielfalt der virtuellen Welten selbst. Die meisten generierten Umgebungen waren zu spärlich, zu generisch und zu unähnlich zu den vollgestopften, unvorhersehbaren Räumen, in denen sich Roboter tatsächlich bewegen müssen.

Russ Tedrake, Toyota-Professor für Electrical Engineering and Computer Science, Aeronautics and Astronautics sowie Mechanical Engineering am MIT und Principal Investigator am CSAIL, bringt die Herausforderung auf den Punkt: Das Erstellen von ausreichend reichhaltigem und vielfältigem Simulationsinhalt, um die Komplexität der realen Welt zu erfassen, bleibt eines der schwersten ungelösten Probleme im Robotiktraining.

SceneSmith ist ein direkter Versuch, diese Lücke zu schließen.

Drei Agenten, ein virtueller Raum

Das System funktioniert, indem es drei KI-Agenten mit jeweils unterschiedlichen Rollen einsetzt, die gemeinsam aus einem einfachen Text-Prompt eine 3D-Szene erstellen. Ein Nutzer könnte beispielsweise „generiere eine Garage mit einem Auto, einer Werkbank, in der Ecke gestapelten Reifen und einer an die Wand gelehnten Leiter“ eingeben, und das System baut diese auf.

Jeder Agent greift auf ein Vision-Language Model zurück, konkret GPT-5.2, das mit großen Mengen an Texten und Bildern trainiert wurde und das beinhaltet, was die Forschenden als eine Art räumliches Wissen darüber beschreiben, wie alltägliche Orte aussehen sollten. Der erste Agent, der „Designer“, generiert das initiale Layout und füllt es mit Objekten. Der zweite, der „Kritiker“, bewertet, ob die Szene realistisch aussieht, und weist auf Probleme hin – etwa eine Badewanne im Wohnzimmer. Der dritte, der „Orchestrator“, steuert den Austausch zwischen den beiden anderen und entscheidet, wann die Szene fertiggestellt ist, wobei er den Prozess sogar zurücksetzt, wenn das Ergebnis den Qualitätsstandards nicht entspricht.

Das Ergebnis sind Umgebungen, die bis zu sechsmal mehr Objekte pro Szene enthalten als frühere Methoden. Die Forschenden generierten während der Entwicklung über 1.300 Szenen. Nicholas Pfaff, ein MIT EECS PhD-Student und Hauptautor des Papers, merkt an, dass das System kreative und vielfältige Anordnungen erzeugte, die nicht explizit in den Prompts programmiert waren. Die Agenten improvisierten und nutzten dabei das Wissen im Internet-Maßstab, das im zugrundeliegenden Modell verankert ist.

SceneSmith geht zudem über den visuellen Realismus hinaus. Die vom System generierten Objekte besitzen physische Eigenschaften wie Masse, Reibung und Trägheit, wodurch sie nicht nur visuell plausibel, sondern auch in Physics-Simulationssoftware nutzbar sind. Dazu gehören auch artikulierte Objekte wie Schränke, die Roboter öffnen und schließen können – eine Kategorie, die frühere Baseline-Systeme selten bewältigen konnten.

Warum Realismus in der Simulation tatsächlich wichtig ist

Der strengste Test dafür, ob eine simulierte Umgebung wirklich nützlich ist, ist nicht die visuelle Inspektion. Es ist die Frage, ob ein Roboter, der mit Realdaten trainiert wurde, ohne zusätzliches Training in dem virtuellen Raum agieren kann. Die Forschenden führten genau diesen Test durch: Sie setzten eine vortrainierte Roboter-Policy, die noch nie eine SceneSmith-Szene gesehen hatte, in die generierten Umgebungen ein. Der Roboter bewältigte erfolgreich Aufgaben wie das Herausnehmen eines Apfels aus einer Schale und dessen Ablegen auf einem Schneidebrett. Hätten die simulierten Räume nicht den realen Umgebungen geähnelt, aus denen der Roboter gelernt hatte, wäre die Aufgabe schlicht fehlgeschlagen.

In einer separaten Evaluierung verglachen über 200 Nutzer die Ergebnisse von SceneSmith mit anderen Szenengenerierungssystemen, darunter HSM und Holodeck. Sie empfanden die visuellen Darstellungen von SceneSmith in über 90 Prozent der Fälle als realistischer und beurteilten sie als treuer gegenüber den ursprünglichen Prompts. Das System bestand außerdem einen Policy-Evaluierungstest, bei dem ein VLM-Agent 100 einzigartige Handlungspläne von Robotern in generierten Umgebungen bewertete. Menschliche Tester stimmten den Urteilen des Modells in über 99 Prozent der Fälle zu, was darauf hindeutet, dass simulationsbasierte Evaluierungen fehlerhaftes Roboterverhalten zuverlässig erkennen könnten, bevor es zu einem Einsatz in der realen Welt kommt.

Jeremy Binagia, ein Applied Scientist bei Amazon Robotics, der nicht an der Forschung beteiligt war, beschreibt SceneSmith als Fortentwicklung des State of the Art in mehreren konkreten Punkten: höhere Objektdichte, physische Genauigkeit statt reiner visueller Realismus und die Fähigkeit, Assets zu generieren, die nicht auf eine feste Bibliothek beschränkt sind.

Es gibt jedoch einen Kompromiss. Die Generierung einer einzelnen Szene kann mehrere Stunden dauern, da jedes Objekt einzeln erstellt und geprüft wird. Die Forschenden räumen ein, dass mehr Rechenleistung diese Kosten erheblich senken würde.

Kurz gesagt

SceneSmith zeigt, dass KI-Agenten mehr können als nur Fragen zu beantworten oder Texte zu generieren. Sie können die Trainingsumgebungen bauen, die andere KI-Systeme – eingebettet in physische Roboter – benötigen, um verlässliche Fähigkeiten zu entwickeln. Der Flaschenhals in der Robotik waren nie die Roboter selbst. Es waren die Daten. Systeme wie dieses verändern die Ökonomie dieses Problems und ermöglichen es, reichhaltige, physisch präzise virtuelle Welten in einem Maßstab zu generieren, den manuelle Erstellung nicht erreichen kann. Die Ingenieure bleiben weiterhin eingebunden, indem sie die Prompts definieren und die Ergebnisse bewerten. Die Agenten übernehmen die Menge.

Basierend auf Berichten von MIT News AI.