En embedding är en plats, och betydelse är avstånd
Ge en embeddingmodell meningen "hur får jag tillbaka mina pengar" och den returnerar en lista med tal. Ge den "återbetalningspolicy" och den returnerar en annan lista. De två listorna ligger nära varandra. Ge den "återbetalningen av elektroner i katoden" och listan hamnar långt bort, trots att den delar ordet.
Det är hela tricket. Modellen har lärt sig att placera text i ett rum med hundratals eller tusentals dimensioner så att det är betydelsen, inte ordförrådet, som avgör var saker hamnar. När text väl är en plats blir frågor om betydelse frågor om avstånd, och avstånd är något en dator kan beräkna för en miljon poster på millisekunder.
Den berömda tidiga demonstrationen, från word2vec-arbetet 2013, var aritmetik på ordplatser: ta vektorn för "king", subtrahera "man", addera "woman", och det närmaste ordet till resultatet är "queen". Moderna embeddingmodeller gör samma sak för hela meningar och dokument, och vektorerna är längre.
Hur stor en embedding är, för modellerna folk faktiskt använder
Längden på listan kallas dess dimensionsantal. Den har växt i takt med modellerna.
word2vec använde 300 dimensioner 2013 och BERT base 768 dimensioner 2018; Voyage 3 returnerar 1 024, OpenAIs text-embedding-3-small returnerar 1 536 tal per inmatning och text-embedding-3-large returnerar 3 072; Googles Gemini Embedding använder också 3 072 som standard. Fler dimensioner kan hålla finare distinktioner, till priset av lagring och jämförelsetid, vilket är varför de nyare modellerna även låter dig trunkera listan till en mindre storlek när hastighet spelar större roll än nyans.
Vart och ett av dessa tal är meningslöst på egen hand. Dimension 412 är inte "formalitet" eller "ämne". Betydelsen finns bara i var hela listan hamnar i förhållande till andra listor, vilket är varför en embedding är värdelös utan en samling att jämföra den med.
Embeddingmodeller hittar; språkmodeller skriver
Folk blandar ihop de två eftersom båda är "AI på text". De är olika modeller som gör motsatta jobb.
| Embeddingmodell | Språkmodell (LLM) | |
|---|---|---|
| Indata | Text (eller en bild) | Text (eller en bild) |
| Utdata | En fast lista med tal | Ny text, en token i taget |
| Uppgift | Placera indata så att liknande saker hamnar nära | Fortsätta indata på ett rimligt sätt |
| Används för | Sökning, matchning, klustring, hämtning | Att svara, skriva, sammanfatta |
| Kostnad per miljon token | $0.02 för text-embedding-3-small | $0.20 för den billigaste GPT-raden, $2 till $10 för de främsta |
| Kan den ha fel? | Den kan rangordna en dålig träff högst | Den kan hitta på ett svar |
Kostnadsraden är den att lägga märke till. Att embedda en miljon token med OpenAIs lilla modell kostar $0.02, mot $0.20 per miljon inmatade token för GPT-5.6 Luna, som delar den billigaste GPT-raden med Luna Pro och GPT-5.4 Nano, enligt AI-modellernas kostnadsindex baserat på OpenRouter-priser hämtade 2026-08-20. Att hitta är tio gånger billigare än den billigaste GPT-skrivningen och minst hundra gånger billigare än de främsta skrivmodellerna. Det gapet är varför varje seriöst system hittar först och skriver sedan. Vad är en LLM tar upp skrivsidan.
Var embeddings körs utan att du ser dem
Chatta med dina dokument. När du laddar upp en lång PDF och ställer en fråga delas filen upp i avsnitt, varje avsnitt embeddas och lagras i en vektordatabas, din fråga embeddas, och de avsnitt vars vektorer ligger närmast lämnas till språkmodellen som kontext. Modellen svarar utifrån dessa avsnitt. Det här är retrieval-augmented generation, och vad är RAG går igenom pipelinen; embeddings är dess söksteg. Guiden för att chatta med PDF tar upp hur du ställer frågor om en uppladdad fil i Whizi.
Om ett dokument söks igenom eller helt enkelt läses i sin helhet beror på fönstret. Kontextfönstret för varje modell, i sidor, visas nedan; allt som får plats kan läggas in i sin helhet, och hämtning finns till för de samlingar som inte gör det.
Sökning som förstår synonymer. En supportsajt som returnerar artikeln om uppsägning för "sluta betala" jämför embeddings, inte ord.
Rekommendationer och klustring. Objekt med näraliggande vektorer är liknande objekt: relaterade produkter, dubbla ärenden, artiklar om samma ämne.
Minnesfunktioner i chattappar. När en assistent "kommer ihåg" ett faktum från en gammal konversation embeddas ofta tidigare anteckningar, och de närmaste hämtas in i prompten som en vanlig implementering.
I varje fall är det embeddingen som hittar och något annat som beslutar eller skriver. Felläget är detsamma överallt: om den närmaste vektorn är fel avsnitt svarar allt nedströms självsäkert på fel fråga, vilket är den hämtningsmiss som vad är en AI-hallucination listar som ett separat fel från att hitta på.
Vad du kan göra med idén, utan att skriva kod
Du kommer sällan att hantera en embedding direkt, men att känna till mekanismen förändrar hur du använder verktygen som byggts på den.
- Fråga på samma språk som svaret. Hämtning matchar din fråga mot avsnitt utifrån betydelse. En fråga formulerad som dokumentet formulerar saker hamnar närmare än en formulerad som du skulle säga den högt.
- Dela upp stora uppladdningar efter ämne. En 400-sidig fil med tre orelaterade ämnen embeddas till ett trångt rum; tre filer hämtas rent.
- Läs det citerade avsnittet. Om ett svar från chatt-med-fil citerar ett avsnitt, öppna det. En hämtningsmiss ser ut som ett självsäkert svar på en något annan fråga.
- Förvänta dig att det misslyckas på exakta strängar. Embeddings handlar om betydelse; ett fakturanummer eller en artikelkod hittas bättre med vanlig textsökning, och bra verktyg kombinerar de två.
Beslutsregeln: när jobbet är att hitta rätt del bland många vill du ha en embeddingmodell, och den bör vara billig. När jobbet är att producera en del vill du ha en språkmodell, och den bör vara bra. Produkter som får den uppdelningen rätt är de vars filchatt faktiskt fungerar.
- Kom ihåg uppdelningen: embeddings hittar, språkmodeller skriver
- Formulera frågor till ett uppladdat dokument med dokumentets egna termer
- Dela upp stora uppladdningar efter ämne så att hämtningen får ett renare rum att söka i
- Öppna det citerade avsnittet i alla svar från chatt-med-fil innan du litar på det
- Använd vanlig textsökning för exakta strängar som ID:n och koder; embeddings matchar betydelse, inte tecken
Vanliga frågor
Vad är en embedding i enkla termer?
En lista med tal som representerar betydelsen av en text, placerad så att liknande betydelser får liknande listor. "Återbetalningspolicy" och "hur får jag tillbaka mina pengar" hamnar nära varandra; en kemimening med ordet återbetalning hamnar långt bort. Avståndet mellan listor är hur en dator mäter samband.
Vad är skillnaden mellan en embeddingmodell och en LLM?
En embeddingmodell ger ut en fast lista med tal som representerar betydelse; en språkmodell ger ut ny text en token i taget. Den första hittar och matchar, den andra skriver och svarar. Chatta-med-dina-dokument använder båda: embeddings för att hämta relevanta avsnitt, LLM:en för att skriva svaret utifrån dem.
Hur många dimensioner har en embedding?
Det beror på modellen. word2vec använde 300 dimensioner 2013, BERT base 768, och dagens modeller ligger mellan 1 024 och 3 072: OpenAIs text-embedding-3-small returnerar 1 536 och text-embedding-3-large returnerar 3 072, samma som Googles Gemini Embedding som standard. Nyare modeller låter dig trunkera till färre dimensioner när hastighet spelar större roll än nyans.
Är embeddings dyra?
Nej, och det är poängen. OpenAI listar text-embedding-3-small till $0.02 per miljon token, mot $0.20 per miljon inmatade token för GPT-5.6 Luna och $2 till $5 för de främsta chattmodellerna till OpenRouters listpriser hämtade 2026-08-20. Att hitta är tio till hundra gånger billigare än att skriva, vilket är varför hämtningssystem embeddar allt och bara genererar svaret.
Var används embeddings i ChatGPT, Claude eller Gemini?
I funktionerna som hittar saker: filuppladdning och chatt-med-dokument, sökning i dina tidigare konversationer, och minne som återkallar fakta från äldre chattar. I varje fall är den vanliga utformningen att embedda texten, hämta de närmaste träffarna och låta språkmodellen skriva utifrån dem. Embeddingen är osynlig för dig; hämtningsmissen, när den inträffar, är det inte.
