Un embedding est un emplacement, et le sens est une distance
Donnez à un modèle d'embedding la phrase « comment récupérer mon argent » et il renvoie une liste de nombres. Donnez-lui « politique de remboursement » et il renvoie une autre liste. Les deux listes sont proches l'une de l'autre. Donnez-lui « le remboursement des électrons dans la cathode » et la liste atterrit loin, même si elle partage le mot.
C'est tout le principe. Le modèle a appris à placer le texte dans un espace à des centaines ou des milliers de dimensions, de sorte que le sens, et non le vocabulaire, décide de l'endroit où les choses atterrissent. Une fois qu'un texte est un emplacement, les questions de sens deviennent des questions de distance, et la distance est quelque chose qu'un ordinateur peut calculer pour un million d'éléments en quelques millisecondes.
La célèbre démonstration initiale, issue des travaux sur word2vec en 2013, était une arithmétique sur des emplacements de mots : prenez le vecteur de « roi », soustrayez « homme », ajoutez « femme », et le mot le plus proche du résultat est « reine ». Les modèles d'embedding modernes font la même chose pour des phrases et des documents entiers, et les vecteurs sont plus longs.
La taille d'un embedding, sur les modèles réellement utilisés
La longueur de la liste est appelée son nombre de dimensions. Elle a augmenté avec les modèles.
word2vec en 2013 utilisait 300 dimensions et BERT base 768 en 2018 ; Voyage 3 en renvoie 1 024, text-embedding-3-small d'OpenAI renvoie 1 536 nombres par entrée et text-embedding-3-large en renvoie 3 072 ; Gemini Embedding de Google utilise aussi 3 072 par défaut. Plus de dimensions peuvent contenir des nuances plus fines, au prix du stockage et du temps de comparaison, ce qui explique pourquoi les modèles récents permettent aussi de tronquer la liste à une taille plus petite quand la vitesse compte plus que la nuance.
Chacun de ces nombres n'a aucun sens en soi. La dimension 412 n'est pas « le formalisme » ou « le sujet ». Le sens ne réside que dans l'endroit où atterrit la liste entière par rapport aux autres listes, ce qui rend un embedding inutile sans une collection à laquelle le comparer.
Les modèles d'embedding trouvent, les modèles de langage écrivent
On confond souvent les deux parce qu'ils relèvent tous deux de « l'IA sur du texte ». Ce sont des modèles différents qui font des travaux opposés.
| Modèle d'embedding | Modèle de langage (LLM) | |
|---|---|---|
| Entrée | Texte (ou une image) | Texte (ou une image) |
| Sortie | Une liste de nombres fixe | Du nouveau texte, un token à la fois |
| Rôle | Placer l'entrée pour que les éléments similaires soient proches | Poursuivre l'entrée de façon plausible |
| Utilisé pour | Recherche, mise en correspondance, regroupement, récupération | Répondre, écrire, résumer |
| Coût par million de tokens | $0.02 pour text-embedding-3-small | $0.20 pour la ligne GPT la moins chère, $2 à $10 pour les modèles de pointe |
| Peut-il se tromper ? | Il peut classer une mauvaise correspondance en premier | Il peut inventer une réponse |
La ligne des coûts est celle à retenir. Créer les embeddings d'un million de tokens avec le petit modèle d'OpenAI coûte $0.02, contre $0.20 par million de tokens en entrée pour GPT-5.6 Luna, à égalité pour la ligne GPT la moins chère avec Luna Pro et GPT-5.4 Nano, selon l'indice de coût des modèles d'IA aux prix OpenRouter relevés le 2026-08-20. Trouver coûte dix fois moins cher que l'écriture GPT la moins chère et au moins cent fois moins cher que l'écriture des modèles de pointe. Cet écart explique pourquoi tout système sérieux cherche d'abord et écrit ensuite. Qu'est-ce qu'un LLM couvre le volet écriture.
Où les embeddings fonctionnent sans que vous les voyiez
Chat avec vos documents. Quand vous téléversez un long PDF et posez une question, le fichier est découpé en passages, chaque passage est transformé en embedding et stocké dans une base de données vectorielle, votre question est aussi transformée en embedding, et les passages dont les vecteurs sont les plus proches sont transmis au modèle de langage comme contexte. Le modèle répond à partir de ces passages. C'est la génération augmentée par récupération, et qu'est-ce que le RAG détaille ce pipeline ; les embeddings en sont l'étape de recherche. Le guide du chat avec PDF explique comment interroger un fichier téléversé dans Whizi.
Le fait qu'un document soit recherché ou simplement lu en entier dépend de la fenêtre. La fenêtre de contexte de chaque modèle, en pages, figure ci-dessous ; tout ce qui y tient peut être inclus en entier, et la récupération existe pour les collections qui n'y tiennent pas.
Une recherche qui comprend les synonymes. Un site d'assistance qui renvoie l'article sur l'annulation pour « arrêter de payer » compare des embeddings, pas des mots.
Recommandations et regroupement. Les éléments dont les vecteurs sont proches sont des éléments similaires : produits liés, tickets en double, articles sur le même sujet.
Fonctions de mémoire dans les applications de chat. Quand un assistant « se souvient » d'un fait issu d'une ancienne conversation, une implémentation courante transforme les anciennes notes en embeddings et récupère les plus proches dans le prompt.
Dans chaque cas, l'embedding fait la recherche et autre chose fait la décision ou l'écriture. Le mode de défaillance est le même partout aussi : si le vecteur le plus proche est le mauvais passage, tout ce qui suit répond avec assurance à la mauvaise question, ce qui est la faille de récupération que qu'est-ce qu'une hallucination de l'IA répertorie comme une défaillance distincte de l'invention.
Ce que vous pouvez faire avec cette idée, sans écrire de code
Vous manipulerez rarement un embedding directement, mais comprendre le mécanisme change la façon dont vous utilisez les outils construits dessus.
- Posez la question dans la langue de la réponse. La récupération fait correspondre votre question à des passages par le sens. Une question formulée comme le document la formule atterrit plus près qu'une question formulée comme vous le diriez à l'oral.
- Découpez les gros téléversements par sujet. Un fichier de 400 pages contenant trois sujets sans lien crée un espace encombré ; trois fichiers séparés se récupèrent proprement.
- Lisez le passage cité. Si une réponse de chat avec fichier cite un passage, ouvrez-le. Une faille de récupération ressemble à une réponse assurée à une question légèrement différente.
- Attendez-vous à des échecs sur les chaînes exactes. Les embeddings portent sur le sens ; un numéro de facture ou un code de pièce se trouve mieux par une recherche en texte brut, et les bons outils combinent les deux.
La règle de décision : quand la tâche consiste à trouver le bon élément parmi beaucoup d'autres, il faut un modèle d'embedding, et il doit être bon marché. Quand la tâche consiste à produire un élément, il faut un modèle de langage, et il doit être bon. Les produits qui réussissent cette séparation sont ceux dont le chat sur fichiers fonctionne vraiment.
- Retenez la séparation : les embeddings trouvent, les modèles de langage écrivent
- Formulez les questions à un document téléversé avec les termes propres au document
- Découpez les gros téléversements par sujet pour donner à la récupération un espace de recherche plus propre
- Ouvrez le passage cité sur toute réponse de chat avec fichier avant de lui faire confiance
- Utilisez la recherche en texte brut pour les chaînes exactes comme les identifiants et les codes ; les embeddings font correspondre le sens, pas les caractères
Questions fréquentes
Qu'est-ce qu'un embedding en termes simples ?
Une liste de nombres qui représente le sens d'un texte, placée de sorte que les sens proches obtiennent des listes proches. « Politique de remboursement » et « comment récupérer mon argent » atterrissent proches l'un de l'autre ; une phrase de chimie contenant le mot remboursement atterrit loin. La distance entre les listes est la façon dont un ordinateur mesure la parenté.
Quelle est la différence entre un modèle d'embedding et un LLM ?
Un modèle d'embedding produit une liste de nombres fixe représentant le sens ; un modèle de langage produit du nouveau texte, un token à la fois. Le premier trouve et fait correspondre, le second écrit et répond. Le chat avec vos documents utilise les deux : les embeddings pour aller chercher les passages pertinents, le LLM pour rédiger la réponse à partir d'eux.
Combien de dimensions possède un embedding ?
Cela dépend du modèle. word2vec en 2013 utilisait 300 dimensions, BERT base 768, et les modèles actuels vont de 1 024 à 3 072 : text-embedding-3-small d'OpenAI en renvoie 1 536 et text-embedding-3-large en renvoie 3 072, comme Gemini Embedding de Google par défaut. Les modèles récents permettent de tronquer à moins de dimensions quand la vitesse compte plus que la nuance.
Les embeddings sont-ils coûteux ?
Non, et c'est bien tout l'intérêt. OpenAI affiche text-embedding-3-small à $0.02 par million de tokens, contre $0.20 par million de tokens en entrée pour GPT-5.6 Luna et $2 à $5 pour les modèles de chat de pointe, aux prix catalogue OpenRouter relevés le 2026-08-20. Trouver coûte de dix à cent fois moins cher qu'écrire, ce qui explique pourquoi les systèmes de récupération transforment tout en embeddings et ne génèrent que la réponse.
Où les embeddings sont-ils utilisés dans ChatGPT, Claude ou Gemini ?
Dans les fonctions qui trouvent des choses : le téléversement de fichiers et le chat avec des documents, la recherche dans vos anciennes conversations, et la mémoire qui rappelle des faits issus de discussions antérieures. Dans chaque cas, la conception habituelle consiste à transformer le texte en embedding, à récupérer les correspondances les plus proches, et à faire écrire le modèle de langage à partir d'elles. L'embedding est invisible pour vous ; la faille de récupération, quand elle survient, ne l'est pas.
