Un article de 2017 a remplacé la récurrence par l'attention
En juin 2017, huit chercheurs, pour la plupart chez Google, ont publié un article intitulé "Attention Is All You Need". Il proposait un réseau pour traduire des phrases qui abandonnait les couches récurrentes utilisées par tous et ne gardait qu'une seule opération, l'attention, empilée plusieurs fois. Le modèle de base comptait 65 millions de paramètres et battait les meilleurs systèmes de traduction anglais-allemand de l'époque tout en s'entraînant en une fraction du temps.
L'idée était dans le titre. Les réseaux de langage précédents lisaient une phrase un token à la fois, en portant un résumé courant vers l'avant, si bien que le vingtième mot ne connaissait du premier que ce qui survivait à dix-neuf étapes de compression. Un transformer lit toute la séquence à la fois. Chaque token demande à tous les autres tokens "quelle est ta pertinence pour moi", les pondère, et construit son sens à partir de la réponse. Le mot "banque" porte son attention sur "rivière" ou sur "compte" et en ressort différent à chaque fois.
Neuf ans plus tard, la même architecture, mise à l'échelle, est ce qui répond quand vous tapez dans ChatGPT. GPT signifie generative pretrained transformer. Claude, Gemini, Llama, DeepSeek et Qwen sont aussi des transformers, l'étiquette ayant été abandonnée faute d'avoir quoi que ce soit d'autre à quoi les comparer.
L'attention est une recherche pondérée, et chaque token en fait une par couche
Prenez la phrase "Le trophée n'entrait pas dans la valise parce qu'il était trop gros." Pour décider ce que signifie "il", un lecteur revient sur "trophée" et "valise" et choisit celui qui a du sens avec "trop gros". L'attention, c'est cette recherche, faite avec des chiffres.
Chaque token est transformé en trois vecteurs : une requête (que je cherche), une clé (ce que j'offre) et une valeur (ce que j'apporte si je suis choisi). Le token "il" compare sa requête à la clé de tous les autres tokens, obtient un score de pertinence par token, transforme les scores en poids qui totalisent un, et additionne les valeurs selon ces poids. Sa nouvelle représentation est surtout "trophée" avec un peu de tout le reste. Le modèle fait cela en parallèle pour chaque token, dans plusieurs "têtes" indépendantes qui apprennent à suivre des relations différentes, et le répète dans des dizaines de couches empilées.
Deux conséquences en découlent directement. Comme chaque token est traité à la même étape, toute la couche s'exécute comme une seule grande multiplication de matrices, exactement ce pour quoi un GPU est conçu, et le modèle de base de l'article s'est entraîné en douze heures sur huit GPU. Et comme chaque token se compare à tous les autres, le coût d'une couche croît avec le carré de la longueur de la séquence : deux fois plus de tokens, quatre fois plus de travail d'attention.
Pourquoi le carré est le chiffre qui atterrit sur votre facture
Ce coût quadratique explique pourquoi la fenêtre de contexte est la caractéristique sur laquelle les fournisseurs se font concurrence, et pourquoi l'utiliser n'est pas gratuit. Un modèle qui accepte 1 000 000 de tokens doit calculer l'attention sur une grille de scores de pertinence d'un million sur un million, dans chaque tête, dans chaque couche, et l'ingénierie qui rend cela abordable (motifs creux, fenêtres glissantes, variantes d'attention moins coûteuses, et mise en cache des clés et valeurs des tokens précédents pour qu'un tour suivant n'ait pas à les recalculer) explique pourquoi une fenêtre de 1 000 000 de tokens est facturée au token plutôt que refusée.
Dans l'index des coûts des modèles d'IA, 47 des 100 lignes tarifées affichent une fenêtre de 1 000 000 de tokens ou plus, contre 512 tokens pour GPT-1 et 2 048 pour GPT-3. Chacun d'eux facture toujours au token d'entrée, parce que chaque token que vous envoyez est une ligne de cette grille. Un document de 300 000 tokens interrogé par dix questions représente 3 millions de tokens d'entrée, et qu'est-ce qu'un token en IA chiffre cela à $6 sur Claude Sonnet 5. L'architecture explique la facture.
Elle explique aussi le mode d'échec. Un transformer n'a pas de mémoire en dehors de sa fenêtre. Ce qui n'est pas dans la séquence n'existe pas pour lui, ce qui explique pourquoi une longue conversation oublie son début et pourquoi la recherche documentaire, le sujet de qu'est-ce que le RAG, existe pour remettre les bons tokens dans la fenêtre.
Encodeur, décodeur ou les deux : la forme décide de la fonction du modèle
Le modèle de 2017 avait deux moitiés : un encodeur qui lisait la phrase source et un décodeur qui écrivait la traduction. Presque tous les modèles depuis ne gardent qu'une moitié.
| Forme | Ce qu'elle fait | Entraînée à | Exemples |
|---|---|---|---|
| Encodeur seul | Lit le texte et produit une représentation de celui-ci | Compléter des mots masqués | BERT (2018), les modèles d'embedding derrière la recherche |
| Décodeur seul | Écrit le texte un token à la fois | Prédire le prochain token | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Encodeur et décodeur | Lit une séquence, en écrit une autre | Traduire ou transformer | Le modèle original de 2017, T5 |
Les modèles de chat que vous utilisez sont tous des décodeurs seuls. Ce choix, fait par GPT-1 en 2018 et copié depuis par tous les modèles de chat, explique pourquoi un modèle de langage génère plutôt qu'il ne consulte : tout le réseau est un prédicteur du prochain token, qu'est-ce que la température en IA couvre le réglage qui choisit le token, et qu'est-ce qu'un LLM suit ce fil jusqu'à l'hallucination et le reste. Les modèles encodeur seul n'ont pas disparu. Ils sont devenus les modèles d'embedding qui transforment le texte en vecteurs pour la recherche, l'autre tâche pour laquelle l'attention s'est révélée douée.
La vision a suivi le même chemin. En 2020, l'article Vision Transformer découpait une image en patchs de 16 par 16 pixels, traitait chaque patch comme un token, et égalait les meilleurs réseaux convolutifs. C'est pourquoi le même modèle peut désormais lire votre capture d'écran et votre paragraphe : les deux arrivent comme une séquence de tokens et passent par les mêmes couches d'attention. La génération d'images est l'exception ; la plupart des modèles d'images sont des modèles de diffusion, une architecture différente que qu'est-ce que l'IA générative distingue à part.
Neuf ans d'un article à chaque modèle de pointe, datés
La chronologie ci-dessous va de l'article de 2017 aux modèles vers lesquels Whizi oriente aujourd'hui. L'orange marque les sorties livrées avec des poids ouverts, ce qui explique comment l'architecture s'est répandue au-delà des deux laboratoires qui l'ont créée en premier.
Le nombre de paramètres raconte l'histoire de l'échelle en trois chiffres : 65 millions dans le modèle de base de 2017, 175 milliards dans GPT-3 trois ans plus tard, et 2,4 mille milliards dans le plus grand modèle Qwen que l'index des coûts tarife en 2026, dont environ 95 milliards sont actifs sur un token donné. L'architecture n'a pas changé de nature sur cette plage. Elle est devenue plus large, plus profonde et mieux alimentée. Le pari de cette page : aucun modèle de pointe publié avant 2028 ne sera autre chose qu'un transformer, et la chronologie des modèles d'IA est l'endroit où cela se vérifie.
- Lisez "transformer" comme "l'architecture que partage chaque modèle de texte actuel" ; cela ne vous dit pas quel modèle est meilleur
- Attendez-vous à ce que le coût et le ralentissement croissent plus vite que linéairement avec la longueur du contexte, et limitez les longs envois à la section dont vous avez besoin
- Supposez qu'un modèle oublie tout ce qui est en dehors de sa fenêtre ; réénoncez les faits importants ou utilisez un projet pour les fixer
- Traitez la vision et le texte comme le même pipeline : une capture d'écran, ce sont aussi des tokens, alors posez des questions dessus comme vous le feriez pour un paragraphe
- Vérifiez la date de sortie avant de faire confiance à ce qu'un modèle sait ; l'architecture n'a pas d'horloge
Questions fréquentes
Que signifie transformer en IA ?
Un transformer est une architecture de réseau de neurones issue de l'article de 2017 Attention Is All You Need. Il traite chaque token d'une séquence en parallèle grâce à l'attention, une opération où chaque token pèse sa pertinence par rapport à tous les autres, et c'est l'architecture derrière GPT, Claude, Gemini, Llama, DeepSeek et Qwen. L'article n'explique pas pourquoi ce nom a été choisi.
Que signifie GPT ?
Generative pretrained transformer. Generative parce qu'il produit du texte, pretrained parce qu'il apprend d'abord sur un vaste corpus avant d'être ajusté pour le chat, et transformer parce que c'est l'architecture du réseau. OpenAI a introduit le nom avec GPT-1 en juin 2018.
Qu'est-ce que le mécanisme d'attention ?
L'opération au cœur d'un transformer. Chaque token calcule un score de pertinence par rapport à tous les autres tokens de la séquence, convertit les scores en poids, et mélange les représentations des autres tokens selon ces poids. C'est ainsi que "il" apprend à signifier "trophée" dans une phrase et "valise" dans une autre. Cela s'exécute en parallèle sur tous les tokens et dans plusieurs têtes par couche.
Pourquoi les transformers ont-ils remplacé les réseaux de neurones récurrents ?
Les réseaux récurrents lisaient les tokens les uns après les autres et devaient faire passer l'information à travers chaque étape, ce qui limitait à la fois ce dont ils se souvenaient et la vitesse de leur entraînement. Les transformers lisent toute la séquence à la fois, gardent donc un accès direct à chaque token antérieur et s'entraînent comme des opérations matricielles parallèles que les GPU exécutent efficacement. L'article de 2017 égalait les meilleurs systèmes de traduction en une fraction du temps d'entraînement.
Tous les modèles d'IA sont-ils des transformers ?
Chaque LLM de pointe l'est, tout comme chaque modèle de texte proposé par Whizi ; les exceptions sont des pistes de recherche comme Mamba et des hybrides comme Jamba, dont aucun ne domine un benchmark. Les générateurs d'images comme Stable Diffusion et Flux sont des modèles de diffusion, une architecture différente, bien que beaucoup utilisent un transformer en interne pour lire le prompt. Les modèles de vision qui lisent des images sont des transformers depuis l'article Vision Transformer de 2020, qui traite les patchs d'image comme des tokens.
