Chaque chatbot, chaque traducteur par IA, chaque LLM capable de tenir une conversation ou de résoudre un problème mathématique trouve son origine dans une unique intuition mathématique développée en 2014 par un stagiaire biélorusse de 23 ans dans un laboratoire de l’Université de Montréal. Il s’appelait Dzmitry Bahdanau. Il n’était pas encore chercheur académique. Il programmait en compétition depuis son enfance. Et le mécanisme qu’il a contribué à concevoir, que lui et ses collaborateurs ont appelé “l’attention”, est devenu le fondement conceptuel de toute l’ère de l’IA moderne.
Comprendre ce que fait réellement l’attention, et pourquoi elle importe, n’est pas un luxe technique. C’est la clé pour comprendre pourquoi les systèmes d’IA peuvent faire ce qu’ils font, et d’où viennent réellement leurs capacités.
Le problème que l’attention a résolu
Avant l’attention, les réseaux de neurones tentant la traduction faisaient face à une contrainte structurelle. Chaque phrase, peu importe sa longueur ou sa complexité, devait être compressée dans une quantité fixe de mémoire avant que le réseau ne puisse commencer à produire du texte dans la langue cible. Plus la phrase était longue, plus l’information se perdait dans cette compression. Les performances se dégradaient de manière prévisible à mesure que les phrases grandissaient.
L’intuition de Bahdanau a été de donner au réseau un autre type d’accès au texte source. Plutôt que de forcer toute l’information à travers un unique goulot d’étranglement, le réseau pouvait, à chaque étape de la génération d’un mot traduit, regarder en arrière sur l’ensemble de la phrase source et identifier quels mots étaient les plus pertinents pour le mot qu’il était en train de produire. Il a décrit ce processus comme analogue à la façon dont il a lui-même appris à traduire à l’école, en jetant des coups d’œil à gauche et à droite entre le texte source et le texte cible, en référençant constamment le contexte. Il a exprimé ce processus physique et cognitif sous la forme d’une opération mathématique.
Le résultat a fonctionné immédiatement. Dès le premier essai, comme s’en est rappelé Bahdanau, l’approche a permis aux réseaux de neurones de gérer les phrases longues aussi efficacement que les courtes. Cette évolutivité a été la percée décisive.
De l’attention aux transformers: Le saut de 2017
D’autres chercheurs ont rapidement incorporé l’attention dans leurs propres conceptions de réseaux de neurones. Ensuite, en 2017, une équipe de Google a poussé le mécanisme plus loin. Ils ont construit une nouvelle architecture appelée transformer, qui a surmultiplié l’attention et supprimé les autres composantes sur lesquelles les modèles précédents s’appuyaient. Leur article, intitulé “Attention Is All You Need”, a démontré que les transformers obtenaient des résultats de traduction de pointe tout en nécessitant nettement moins de calculs que les approches précédentes. L’article a depuis été cité plus de 250 000 fois. Les LLM, incluant ChatGPT et Claude, sont des descendants directs de cette architecture.
Pour comprendre ce que fait réellement un transformer, lorsqu’une phrase entre dans le réseau, chaque mot est converti en une représentation numérique appelée vecteur. Ces vecteurs traversent plusieurs couches du réseau. Dans chaque couche, une opération mathématique appelée tête d’attention compare le vecteur de chaque mot aux vecteurs de tous les autres mots de la phrase, en calculant avec quelle force chaque mot doit influencer la représentation de tous les autres. Le résultat est que le contexte se trouve encodé directement dans la représentation numérique de chaque mot. Le mot “il” dans une phrase ne porte pas un sens fixe, sa représentation change selon ce qui l’entoure.
Considérez la phrase “L’animal n’a pas traversé la rue parce qu’il était trop fatigué.” Pour traduire cela correctement en anglais, un modèle doit déterminer que “il” fait référence à l’animal et non à la rue, car les deux mots nécessitent des pronoms différents en anglais. Le mécanisme d’attention permet au réseau de parcourir toute la phrase, d’identifier que “l’animal” est le référent le plus plausible pour le pronom dans ce contexte, et d’incorporer cette information dans la traduction. Une seconde phrase, “L’animal n’a pas traversé la rue parce qu’elle était trop large”, nécessite la conclusion opposée. Le même mécanisme, appliqué à un contexte différent, produit un résultat différent.
Plusieurs têtes d’attention s’exécutent en parallèle, chacune capturant potentiellement différents types de relations entre les mots. Les couches successives construisent des représentations de plus en plus riches et sensibles au contexte. Le réseau ne cherche pas des règles. Il convertit des relations en mathématiques.
Pourquoi cela compte au-delà de la traduction
Voici ce que la plupart des couvertures médiatiques de l’IA ont tendance à passer sous silence: la raison pour laquelle l’attention est devenue le fondement de l’IA à usage général n’est pas qu’elle a été conçue pour être à usage général. Elle a été conçue pour résoudre un problème spécifique et bien défini, qui était la traduction automatique. Le fait que le même mécanisme se soit révélé être à la base de systèmes capables de diagnostiquer des maladies, de générer de la vidéo, de résoudre des problèmes mathématiques et de tenir des conversations prolongées soulève une question réellement importante: est-ce que l’attention capture quelque chose de fondamental sur la façon dont l’intelligence, artificielle ou autre, traite le sens?
La réponse honnête est que les chercheurs n’ont pas encore une explication complète. Ce qui est clair, c’est que la capacité à pondérer dynamiquement le contexte, à traiter le sens de tout élément comme une fonction de sa relation avec tout ce qui l’entoure, est extraordinairement puissante. Le langage fonctionne ainsi. Une grande partie du raisonnement humain aussi.
Pour quiconque essaie de comprendre les systèmes d’IA, que ce soit en tant que professionnel travaillant à leurs côtés ou en tant que citoyen naviguant dans un monde de plus en plus façonné par eux, c’est le mécanisme qu’il vaut la peine de comprendre. Pas les noms de produits. Pas les scores de référence. L’opération d’attention est l’endroit où la capacité réside réellement.
En bref
L’attention est une méthode mathématique qui permet à un réseau de neurones de déterminer, à chaque étape de la production de sortie, quelles parties de son entrée sont les plus pertinentes. Développée en 2014 par Dzmitry Bahdanau, Yoshua Bengio et Kyunghyun Cho pour améliorer la traduction automatique, elle est devenue le cœur de l’architecture des transformers après qu’un article de Google en 2017 a démontré sa puissance élargie. Chaque grand LLM utilisé aujourd’hui est bâti sur cette fondation. Comprendre l’attention n’est pas un détail technique: c’est la clé conceptuelle pour comprendre ce que les systèmes d’IA moderne font réellement.
D’après un reportage de Quanta Magazine.
Lire l’étude originale.