Wat zijn embeddings in AI?

Een embedding is een locatie, en betekenis is afstand

Geef een embedding model de zin "hoe krijg ik mijn geld terug" en het geeft een lijst getallen terug. Geef het "terugbetalingsbeleid" en het geeft een andere lijst terug. De twee lijsten liggen dicht bij elkaar. Geef het "de terugkeer van elektronen in de kathode" en de lijst landt ver weg, ook al deelt het een woord.

Dat is de hele truc. Het model heeft geleerd om tekst te plaatsen in een ruimte met honderden of duizenden dimensies, zodat betekenis, niet woordenschat, bepaalt waar dingen landen. Zodra tekst een locatie is, worden vragen over betekenis vragen over afstand, en afstand is iets wat een computer voor een miljoen items in milliseconden kan berekenen.

De beroemde vroege demonstratie, uit het word2vec-werk van 2013, was rekenen met woordlocaties: neem de vector voor "koning", trek "man" eraf, tel "vrouw" op, en het dichtstbijzijnde woord bij het resultaat is "koningin". Moderne embedding modellen doen hetzelfde voor hele zinnen en documenten, en de vectoren zijn langer.

Hoe groot een embedding is, bij de modellen die mensen echt gebruiken

De lengte van de lijst heet het aantal dimensies. Dat is meegegroeid met de modellen.

word2vec gebruikte in 2013 300 dimensies en BERT base 768 in 2018; Voyage 3 geeft 1.024 terug, OpenAI's text-embedding-3-small geeft 1.536 getallen per input terug en text-embedding-3-large geeft 3.072 terug; Google's Gemini Embedding staat ook standaard op 3.072. Meer dimensies kunnen fijnere onderscheidingen vastleggen, ten koste van opslag en vergelijkingstijd, en daarom laten de nieuwere modellen je ook de lijst inkorten tot een kleiner formaat wanneer snelheid belangrijker is dan nuance.

Elk van die getallen op zich is betekenisloos. Dimensie 412 is niet "formaliteit" of "onderwerp". De betekenis zit alleen in waar de hele lijst landt ten opzichte van andere lijsten, en daarom is een embedding nutteloos zonder een verzameling om mee te vergelijken.

Embedding modellen vinden, taalmodellen schrijven

Mensen halen de twee door elkaar omdat het allebei "AI op tekst" is. Het zijn verschillende modellen die tegengestelde taken uitvoeren.

De kostenrij is degene om op te letten. Een miljoen tokens embedden met OpenAI's kleine model kost $0.02, tegenover $0.20 per miljoen inputtokens voor GPT-5.6 Luna, samen met Luna Pro en GPT-5.4 Nano de goedkoopste GPT-rij, volgens de AI model cost index op basis van OpenRouter-prijzen opgehaald op 2026-08-20. Vinden is tien keer goedkoper dan het goedkoopste GPT-schrijven en minstens honderd keer goedkoper dan frontier-schrijven. Dat verschil is waarom elk serieus systeem eerst vindt en dan schrijft. Wat is een LLM behandelt de schrijfkant.

Waar embeddings draaien zonder dat je het ziet

Chatten met je documenten. Wanneer je een lange PDF uploadt en een vraag stelt, wordt het bestand opgesplitst in passages, wordt elke passage geëmbed en opgeslagen in een vectordatabase, wordt je vraag geëmbed, en worden de passages waarvan de vectoren het dichtstbij liggen als context aan het taalmodel gegeven. Het model antwoordt op basis van die passages. Dit is retrieval augmented generation, en wat is RAG loopt door de pijplijn heen; embeddings zijn de zoekstap ervan. De gids over chatten met PDF behandelt hoe je een geüpload bestand bevraagt in Whizi.

Of een document wordt doorzocht of gewoon in zijn geheel wordt gelezen, hangt af van het venster. Het contextvenster van elk model, in pagina's, staat hieronder; alles wat past kan in zijn geheel erin, en ophalen bestaat voor de verzamelingen die dat niet doen.

Zoeken dat synoniemen begrijpt. Een supportsite die het opzegartikel teruggeeft bij "stoppen met betalen" vergelijkt embeddings, geen woorden.

Aanbevelingen en clusteren. Items met vectoren die dicht bij elkaar liggen zijn vergelijkbare items: gerelateerde producten, dubbele tickets, artikelen over hetzelfde onderwerp.

Geheugenfuncties in chatapps. Wanneer een assistent zich een feit "herinnert" uit een oud gesprek, embedt een veelvoorkomende implementatie eerdere notities en haalt de dichtstbijzijnde op in de prompt.

In elk geval doet de embedding het vinden en doet iets anders het beslissen of het schrijven. Het faalpatroon is ook overal hetzelfde: als de dichtstbijzijnde vector de verkeerde passage is, beantwoordt alles verderop met vertrouwen de verkeerde vraag, wat de ophaalmisser is die wat is een AI-hallucinatie als apart falen van verzinnen vermeldt.

Wat je met het idee kunt doen, zonder code te schrijven

Je zult zelden rechtstreeks met een embedding te maken krijgen, maar het kennen van het mechanisme verandert hoe je de tools gebruikt die erop zijn gebouwd.

1. Stel je vraag in de taal van het antwoord. Ophalen matcht je vraag op basis van betekenis met passages. Een vraag die geformuleerd is zoals het document dingen zegt, landt dichterbij dan een vraag zoals jij het hardop zou zeggen.
2. Splits grote uploads per onderwerp. Een bestand van 400 pagina's met drie ongerelateerde onderwerpen embedt in een overvolle ruimte; drie bestanden halen schoon op.
3. Lees de geciteerde passage. Als een chat-met-bestand antwoord een passage citeert, open die dan. Een ophaalmisser ziet eruit als een zelfverzekerd antwoord op een iets andere vraag.
4. Verwacht dat het faalt op exacte tekenreeksen. Embeddings gaan over betekenis; een factuurnummer of onderdeelcode wordt beter gevonden met gewoon tekstzoeken, en goede tools combineren beide.

De beslisregel: als de taak is om het juiste stuk tussen velen te vinden, wil je een embedding model, en het moet goedkoop zijn. Als de taak is om een stuk te produceren, wil je een taalmodel, en het moet goed zijn. Producten die deze splitsing goed doen zijn degene waarvan de bestandschat echt werkt.