Hvad er embeddings i AI?

En embedding er en placering, og betydning er afstand

Giv en embedding-model sætningen "hvordan får jeg mine penge tilbage", og den returnerer en liste af tal. Giv den "refunderingspolitik", og den returnerer en anden liste. De to lister ligger tæt på hinanden. Giv den "tilbageførslen af elektroner i katoden", og listen havner langt væk, selvom den deler ordet.

Det er hele tricket. Modellen har lært at placere tekst i et rum med hundredvis eller tusindvis af dimensioner, så det er betydningen og ikke ordvalget, der afgør, hvor tingene havner. Når tekst først er en placering, bliver spørgsmål om betydning til spørgsmål om afstand, og afstand er noget en computer kan udregne for en million elementer på millisekunder.

Den berømte tidlige demonstration, fra word2vec-arbejdet i 2013, var regnestykker på ord-placeringer: tag vektoren for "konge", træk "mand" fra, læg "kvinde" til, og det nærmeste ord til resultatet er "dronning". Moderne embedding-modeller gør det samme for hele sætninger og dokumenter, og vektorerne er længere.

Hvor stor en embedding er, på de modeller folk faktisk bruger

Længden af listen kaldes dens dimensionsantal. Det er vokset i takt med modellerne.

word2vec brugte 300 dimensioner i 2013, og BERT base brugte 768 i 2018; Voyage 3 returnerer 1.024, OpenAIs text-embedding-3-small returnerer 1.536 tal per input, og text-embedding-3-large returnerer 3.072; Googles Gemini Embedding bruger som standard også 3.072. Flere dimensioner kan rumme finere skelnen, på bekostning af lagerplads og sammenligningstid, hvilket er grunden til, at de nyere modeller også lader dig afkorte listen til en mindre størrelse, når hastighed betyder mere end nuance.

Hvert af de tal er meningsløst i sig selv. Dimension 412 er ikke "formalitet" eller "emne". Betydningen ligger kun i, hvor hele listen havner i forhold til andre lister, hvilket er grunden til, at en embedding er ubrugelig uden en samling at sammenligne den med.

Embedding-modeller finder, sprogmodeller skriver

Folk blander de to sammen, fordi begge er "AI på tekst". De er forskellige modeller, der laver hver deres modsatte opgave.

Prisrækken er den, man skal lægge mærke til. At embedde en million tokens med OpenAIs lille model koster $0.02, mod $0.20 per million input-tokens for GPT-5.6 Luna, der ligger lige med Luna Pro og GPT-5.4 Nano som den billigste GPT-model, ifølge AI-modellernes prisindeks med OpenRouter-priser hentet 2026-08-20. At finde er ti gange billigere end den billigste GPT-skrivning og mindst hundrede gange billigere end frontier-skrivning. Den forskel er grunden til, at ethvert seriøst system finder først og skriver bagefter. Hvad er en LLM dækker skrivedelen.

Hvor embeddings kører, uden at du ser dem

Chat med dine dokumenter. Når du uploader en lang PDF og stiller et spørgsmål, bliver filen splittet op i afsnit, hvert afsnit bliver embeddet og gemt i en vektordatabase, dit spørgsmål bliver embeddet, og de afsnit hvis vektorer ligger nærmest, gives til sprogmodellen som kontekst. Modellen svarer ud fra de afsnit. Det kaldes retrieval-augmented generation, og hvad er RAG gennemgår pipelinen; embeddings er dens søgetrin. Guiden til chat med PDF dækker, hvordan du stiller spørgsmål til en uploadet fil i Whizi.

Om et dokument bliver søgt igennem eller bare læst i sin helhed, afhænger af vinduet. Kontekstvinduet for hver model, målt i sider, ses nedenfor; alt der passer, kan gå med som helhed, og retrieval findes til de samlinger, der ikke kan.

Søgning der forstår synonymer. En supportside der returnerer artiklen om opsigelse ved søgning på "stop med at betale" sammenligner embeddings, ikke ord.

Anbefalinger og klyngedannelse. Elementer med nærliggende vektorer er beslægtede elementer: relaterede produkter, duplikerede supportsager, artikler om samme emne.

Hukommelsesfunktioner i chatapps. Når en assistent "husker" et faktum fra en gammel samtale, embedder en almindelig implementering tidligere noter og henter de nærmeste ind i prompten.

I alle tilfælde står embeddingen for at finde, mens noget andet står for at beslutte eller skrive. Fejltilstanden er den samme alle steder: hvis den nærmeste vektor er det forkerte afsnit, svarer alt nedstrøms selvsikkert på det forkerte spørgsmål, hvilket er den retrieval-fejl, som hvad er en AI-hallucination lister som en separat fejltype fra opdigtning.

Hvad du kan gøre med ideen, uden at skrive kode

Du kommer sjældent til at håndtere en embedding direkte, men at kende mekanismen ændrer, hvordan du bruger værktøjerne, der er bygget på den.

1. Spørg i samme sprog som svaret. Retrieval matcher dit spørgsmål til afsnit ud fra betydning. Et spørgsmål formuleret som dokumentet formulerer tingene, havner tættere på end et formuleret, som du ville sige det højt.
2. Del store uploads op efter emne. En fil på 400 sider med tre urelaterede emner embedder ind i et overfyldt rum; tre filer henter rent.
3. Læs det citerede afsnit. Hvis et chat-med-fil-svar citerer et afsnit, så åbn det. En retrieval-fejl ligner et selvsikkert svar på et lidt andet spørgsmål.
4. Forvent at det fejler på præcise strenge. Embeddings handler om betydning; et fakturanummer eller en varekode findes bedre ved almindelig tekstsøgning, og gode værktøjer kombinerer de to.

Beslutningsreglen: når opgaven er at finde det rigtige stykke blandt mange, vil du have en embedding-model, og den skal være billig. Når opgaven er at producere et stykke, vil du have en sprogmodel, og den skal være god. Produkter der får den opdeling rigtig, er dem hvis filchat rent faktisk virker.