The Brief
Wie KI funktioniert 5 Min. Lesezeit

"Attention Is All You Need": Die Idee hinter moderner KI

NAVION

Teilen

Jeder Chatbot, jeder KI-Übersetzer, jedes große Sprachmodell, das in der Lage ist, ein Gespräch zu führen oder ein mathematisches Problem zu lösen, geht auf eine einzige mathematische Erkenntnis zurück, die im Jahr 2014 von einem 23-jährigen weißrussischen Praktikanten in einem Labor der Universität Montreal entwickelt wurde. Sein Name war Dzmitry Bahdanau. Er war noch kein akademischer Forscher. Er hatte seit seiner Kindheit wettbewerbsmäßig programmiert. Und der Mechanismus, an dessen Entwicklung er mitwirkte und den er und seine Mitarbeiter “Attention” nannten, wurde zum konzeptionellen Fundament der gesamten modernen KI-Ära.

Zu verstehen, was Attention tatsächlich bewirkt und warum das wichtig ist, ist kein technischer Luxus. Es ist der Schlüssel, um zu verstehen, warum KI-Systeme tun können, was sie tun, und woher ihre Fähigkeiten tatsächlich stammen.

Das Problem, das Attention löste

Vor Attention hatten neuronale Netze, die versuchten zu übersetzen, mit einer strukturellen Einschränkung zu kämpfen. Jeder Satz, unabhängig von Länge oder Komplexität, musste in eine feste Menge an Speicher komprimiert werden, bevor das Netz damit beginnen konnte, eine Ausgabe in der Zielsprache zu erzeugen. Je länger der Satz, desto mehr Informationen gingen bei dieser Komprimierung verloren. Die Leistung verschlechterte sich vorhersehbar, wenn die Sätze wuchsen.

Bahdanaus Erkenntnis bestand darin, dem Netz eine andere Art des Zugriffs auf den Quelltext zu geben. Anstatt alle Informationen durch einen einzigen Flaschenhals zu zwingen, konnte das Netz bei jedem Schritt der Generierung eines übersetzten Wortes über den gesamten Quellsatz zurückblicken und erkennen, welche Wörter für das gerade erzeugte Wort am relevantesten waren. Er beschrieb den Prozess als analog zu der Art und Weise, wie er selbst in der Schule das Übersetzen gelernt hatte: durch Blicke nach links und rechts zwischen Quell- und Zieltext, wobei er sich ständig auf den Kontext bezog. Er drückte diesen physischen, kognitiven Prozess als mathematische Operation aus.

Das Resultat funktionierte sofort. Vom ersten Versuch an, wie sich Bahdanau erinnerte, ermöglichte dieser Ansatz neuronalen Netzen, lange Sätze genauso effektiv zu verarbeiten wie kurze. Diese Skalierbarkeit war der Durchbruch.

Von Attention zu Transformers: Der Sprung im Jahr 2017

Andere Forscher integrierten Attention schnell in ihre eigenen Designs neuronaler Netze. Im Jahr 2017 trieb dann ein Team bei Google den Mechanismus weiter voran. Sie bauten eine neue Architektur namens Transformer, die Attention stark erweiterte und die anderen Komponenten, auf die frühere KI models gesetzt hatten, entfernte. Ihre Arbeit mit dem Titel “Attention Is All You Need” zeigte, dass Transformer herausragende Übersetzungsergebnisse erzielten und dabei wesentlich weniger Rechenleistung benötigten als bisherige Ansätze. Das Paper wurde seitdem mehr als 250.000 Mal zitiert. Große Sprachkomponenten wie ChatGPT und Claude sind direkte Nachfahren dieser Architektur.

Um zu verstehen, was ein Transformer tatsächlich tut: Wenn ein Satz in das Netz gelangt, wird jedes Wort in eine numerische Repräsentation namens Vektor umgewandelt. Diese Vektoren durchlaufen mehrere Schichten des Netzes. In jeder Schicht vergleicht eine mathematische Operation namens Attention Head den Vektor jedes Wortes mit den Vektoren jedes anderen Wortes im Satz und berechnet, wie stark jedes Wort die Repräsentation jedes anderen Wortes beeinflussen sollte. Das Ergebnis ist, dass Kontext direkt in die numerische Repräsentation jedes Wortes kodiert wird. Das Wort “es” in einem Satz hat keine feste Bedeutung; seine Repräsentation verschiebt sich je nachdem, was es umgibt.

Betrachte den Satz “Das Tier überquerte die Straße nicht, weil es zu müde war.” Um dies korrekt ins Französische zu übersetzen, muss ein KI model feststellen, dass sich “es” auf das Tier bezieht, nicht auf die Straße, da die beiden Wörter im Französischen unterschiedliche Pronomen erfordern. Der Attention-Mechanismus ermöglicht es dem Netz, durch den gesamten Satz zu navigieren, festzustellen, dass “Tier” in diesem Kontext das plausibelste Bezugswort für “es” ist, und diese Information in die Übersetzung einfließen zu lassen. Ein zweiter Satz, “Das Tier überquerte die Straße nicht, weil sie zu breit war,” erfordert die gegenteilige Schlussfolgerung. Derselbe Mechanismus, auf einen anderen Kontext angewendet, erzeugt ein anderes Ergebnis.

Mehrere Attention Heads laufen parallel, wobei jeder potenziell unterschiedliche Arten von Beziehungen zwischen Wörtern erfasst. Aufeinanderfolgende Schichten bauen zunehmend reichhaltigere, kontextsensitive Repräsentationen auf. Das Netz schlägt keine Regeln nach. Es wandelt Beziehungen in Mathematik um.

Warum das über die Übersetzung hinaus wichtig ist

Hier ist der Punkt, den die meiste Berichterstattung über KI tendenziell auslässt: Der Grund, warum Attention zum Fundament für universelle KI wurde, ist nicht der, dass sie als universell konzipiert wurde. Sie wurde entwickelt, um ein einziges, klar definiertes Problem zu lösen, nämlich maschinelle Übersetzung. Die Tatsache, dass sich derselbe Mechanismus als Grundlage für Systeme erwies, die Krankheiten diagnostizieren, Videos generieren, mathematische Probleme lösen und längere Gespräche führen können, wirft eine wahrhaft wichtige Frage auf: Erfasst Attention etwas Grundlegendes darüber, wie Intelligenz, ob künstlich oder nicht, Bedeutung verarbeitet?

Die ehrliche Antwort lautet, dass Forscher noch keine vollständige Erklärung haben. Was klar ist: Die Fähigkeit, Kontext dynamisch zu gewichten, die Bedeutung eines Elements als Funktion seiner Beziehung zu allem um es herum zu behandeln, ist außerordentlich mächtig. Sprache funktioniert so. Große Teile des menschlichen Denkens tun das auch.

Für jeden, der KI-systeme verstehen möchte, sei es als Profi, der mit ihnen arbeitet, oder als Bürger, der sich in einer zunehmend von ihnen geprägten Welt bewegt, ist dies der Mechanismus, den es zu verstehen lohnt. Nicht die Produktnamen. Nicht die Benchmark-Werte. Die Attention-Operation ist der Ort, an dem die Fähigkeit tatsächlich zu Hause ist.

Kurz gesagt

Attention ist eine mathematische Methode, die es einem neuronalen Netz ermöglicht, bei jedem Schritt der Generierung einer Ausgabe zu bestimmen, welche Teile seiner Eingabe am relevantesten sind. Entwickelt im Jahr 2014 von Dzmitry Bahdanau, Yoshua Bengio und Kyunghyun Cho zur Verbesserung der maschinellen Übersetzung, wurde sie zum Kern der Transformer-Architektur, nachdem ein Google-Paper aus dem Jahr 2017 ihre breitere Leistung demonstriert hatte. Jedes große Sprachmodell, das heute im Einsatz ist, baut auf diesem Fundament auf. Attention zu verstehen ist kein technisches Detail: Es ist der konzeptionelle Schlüssel, um zu verstehen, was moderne KI-systeme tatsächlich tun.

Basierend auf Berichten von Quanta Magazine.

Zur Originalstudie.

Geschrieben von

NAVION