Ein Embedding ist ein Ort, und Bedeutung ist Abstand
Gib einem Embedding-Modell den Satz "wie bekomme ich mein Geld zurück", und es liefert eine Liste von Zahlen zurück. Gib ihm "Rückerstattungsrichtlinie", und es liefert eine andere Liste zurück. Die beiden Listen liegen nah beieinander. Gib ihm "der Rückstand der Elektronen in der Kathode", und die Liste landet weit entfernt, obwohl sie das Wort teilt.
Das ist der gesamte Trick. Das Modell hat gelernt, Text so in einem Raum mit Hunderten oder Tausenden Dimensionen zu platzieren, dass Bedeutung, nicht Vokabular, entscheidet, wo etwas landet. Sobald Text ein Ort ist, werden Fragen zur Bedeutung zu Fragen zum Abstand, und Abstand ist etwas, das ein Computer für eine Million Elemente in Millisekunden berechnen kann.
Die berühmte frühe Demonstration, aus der word2vec-Arbeit von 2013, war Arithmetik mit Wortorten: nimm den Vektor für "König", ziehe "Mann" ab, addiere "Frau", und das nächstgelegene Wort zum Ergebnis ist "Königin". Moderne Embedding-Modelle tun dasselbe für ganze Sätze und Dokumente, und die Vektoren sind länger.
Wie groß ein Embedding ist, bei den Modellen, die Menschen tatsächlich nutzen
Die Länge der Liste heißt Dimensionszahl. Sie ist mit den Modellen gewachsen.
word2vec nutzte 2013 300 Dimensionen und BERT base 768 im Jahr 2018; Voyage 3 liefert 1.024, OpenAIs text-embedding-3-small liefert 1.536 Zahlen pro Eingabe und text-embedding-3-large liefert 3.072; Googles Gemini Embedding nutzt ebenfalls standardmäßig 3.072. Mehr Dimensionen können feinere Unterscheidungen aufnehmen, auf Kosten von Speicher und Vergleichszeit, weshalb die neueren Modelle auch erlauben, die Liste auf eine kleinere Größe zu kürzen, wenn Geschwindigkeit wichtiger ist als Nuance.
Jede dieser Zahlen ist für sich allein bedeutungslos. Dimension 412 ist nicht "Formalität" oder "Thema". Die Bedeutung liegt nur darin, wo die gesamte Liste relativ zu anderen Listen landet, weshalb ein Embedding ohne eine Sammlung zum Vergleich nutzlos ist.
Embedding-Modelle finden, Sprachmodelle schreiben
Menschen verwechseln die beiden, weil beide "KI auf Text" sind. Es sind unterschiedliche Modelle mit entgegengesetzten Aufgaben.
| Embedding-Modell | Sprachmodell (LLM) | |
|---|---|---|
| Eingabe | Text (oder ein Bild) | Text (oder ein Bild) |
| Ausgabe | Eine feste Liste von Zahlen | Neuer Text, ein Token nach dem anderen |
| Aufgabe | Eingabe so platzieren, dass Ähnliches nah beieinander liegt | Eingabe plausibel fortsetzen |
| Verwendet für | Suche, Abgleich, Clustering, Retrieval | Antworten, Schreiben, Zusammenfassen |
| Kosten pro Million Token | $0.02 bei text-embedding-3-small | $0.20 bei der günstigsten GPT-Reihe, $2 bis $10 bei Frontier-Modellen |
| Kann es falsch liegen? | Kann eine schlechte Übereinstimmung zuerst ranken | Kann sich eine Antwort ausdenken |
Die Kostenzeile ist die, auf die man achten sollte. Eine Million Token mit OpenAIs kleinem Modell zu embedden kostet $0.02, gegenüber $0.20 pro Million Eingabe-Token für GPT-5.6 Luna, gleichauf als günstigste GPT-Reihe mit Luna Pro und GPT-5.4 Nano, laut dem KI-Modellkostenindex mit OpenRouter-Preisen, abgerufen am 2026-08-20. Finden ist zehnmal günstiger als das günstigste GPT-Schreiben und mindestens hundertmal günstiger als Frontier-Schreiben. Diese Lücke ist der Grund, warum jedes ernsthafte System zuerst findet und dann schreibt. Was ist ein LLM behandelt die Schreibseite.
Wo Embeddings laufen, ohne dass du es siehst
Chat mit den eigenen Dokumenten. Wenn du ein langes PDF hochlädst und eine Frage stellst, wird die Datei in Passagen aufgeteilt, jede Passage wird embedded und in einer Vektordatenbank gespeichert, deine Frage wird embedded, und die Passagen, deren Vektoren am nächsten liegen, werden dem Sprachmodell als Kontext übergeben. Das Modell antwortet aus diesen Passagen. Das ist Retrieval-Augmented Generation, und was ist RAG geht den Ablauf im Detail durch; Embeddings sind sein Suchschritt. Der Leitfaden zu Chat mit PDF behandelt, wie man eine hochgeladene Datei in Whizi befragt.
Ob ein Dokument durchsucht oder einfach vollständig gelesen wird, hängt vom Fenster ab. Das Kontextfenster jedes Modells, in Seiten, steht unten; alles, was hineinpasst, kann als Ganzes eingegeben werden, und Retrieval existiert für die Sammlungen, bei denen das nicht der Fall ist.
Suche, die Synonyme versteht. Eine Support-Seite, die für "Zahlung stoppen" den Kündigungsartikel liefert, vergleicht Embeddings, nicht Wörter.
Empfehlungen und Clustering. Elemente mit nahen Vektoren sind ähnliche Elemente: verwandte Produkte, doppelte Tickets, Artikel zum selben Thema.
Erinnerungsfunktionen in Chat-Apps. Wenn sich ein Assistent an eine Tatsache aus einem alten Gespräch "erinnert", embedded eine gängige Umsetzung frühere Notizen und ruft die nächstgelegenen in den Prompt ab.
In jedem Fall übernimmt das Embedding das Finden, und etwas anderes das Entscheiden oder Schreiben. Der Fehlermodus ist überall derselbe: Wenn der nächstgelegene Vektor die falsche Passage ist, beantwortet alles Nachgelagerte selbstsicher die falsche Frage, was der Retrieval-Fehltreffer ist, den was ist eine KI-Halluzination als eigenständigen Fehler von Erfindung unterscheidet.
Was du mit der Idee tun kannst, ohne Code zu schreiben
Du wirst selten direkt mit einem Embedding hantieren, aber das Wissen um den Mechanismus verändert, wie du die darauf aufgebauten Werkzeuge nutzt.
- Frage in der Sprache der Antwort. Retrieval gleicht deine Frage anhand der Bedeutung mit Passagen ab. Eine Frage, die so formuliert ist wie im Dokument, landet näher dran als eine, die so formuliert ist, wie du es laut sagen würdest.
- Teile große Uploads nach Thema auf. Eine 400-seitige Datei mit drei unzusammenhängenden Themen wird zu einem überfüllten Raum embedded; drei Dateien liefern sauber ab.
- Lies die zitierte Passage. Wenn eine Chat-mit-Datei-Antwort eine Passage zitiert, öffne sie. Ein Retrieval-Fehltreffer sieht aus wie eine selbstsichere Antwort auf eine leicht andere Frage.
- Erwarte, dass es bei exakten Zeichenketten versagt. Bei Embeddings geht es um Bedeutung; eine Rechnungsnummer oder ein Teilecode wird besser mit einfacher Textsuche gefunden, und gute Werkzeuge kombinieren beides.
Die Entscheidungsregel: Wenn die Aufgabe darin besteht, das richtige Stück unter vielen zu finden, willst du ein Embedding-Modell, und es sollte günstig sein. Wenn die Aufgabe darin besteht, ein Stück zu erzeugen, willst du ein Sprachmodell, und es sollte gut sein. Produkte, die diese Trennung richtig hinbekommen, sind die, deren Datei-Chat tatsächlich funktioniert.
- Merke dir die Trennung: Embeddings finden, Sprachmodelle schreiben
- Formuliere Fragen an ein hochgeladenes Dokument in den eigenen Begriffen des Dokuments
- Teile große Uploads nach Thema auf, damit Retrieval einen saubereren Raum zum Durchsuchen hat
- Öffne bei jeder Chat-mit-Datei-Antwort die zitierte Passage, bevor du ihr vertraust
- Nutze einfache Textsuche für exakte Zeichenketten wie IDs und Codes; Embeddings gleichen Bedeutung ab, nicht Zeichen
Häufige Fragen
Was ist ein Embedding einfach erklärt?
Eine Liste von Zahlen, die für die Bedeutung eines Textstücks steht, platziert so, dass ähnliche Bedeutungen ähnliche Listen erhalten. "Rückerstattungsrichtlinie" und "wie bekomme ich mein Geld zurück" landen nah beieinander; ein Chemiesatz mit dem Wort Rückstand landet weit weg. Der Abstand zwischen Listen ist, wie ein Computer Verwandtschaft misst.
Was ist der Unterschied zwischen einem Embedding-Modell und einem LLM?
Ein Embedding-Modell gibt eine feste Liste von Zahlen aus, die Bedeutung darstellt; ein Sprachmodell gibt neuen Text ein Token nach dem anderen aus. Das erste findet und gleicht ab, das zweite schreibt und antwortet. Chat mit den eigenen Dokumenten nutzt beide: Embeddings, um die relevanten Passagen zu holen, das LLM, um die Antwort daraus zu schreiben.
Wie viele Dimensionen hat ein Embedding?
Das hängt vom Modell ab. word2vec nutzte 2013 300, BERT base 768, und aktuelle Modelle laufen von 1.024 bis 3.072: OpenAIs text-embedding-3-small liefert 1.536 und text-embedding-3-large liefert 3.072, dasselbe wie Googles Gemini Embedding standardmäßig. Neuere Modelle erlauben eine Kürzung auf weniger Dimensionen, wenn Geschwindigkeit wichtiger ist als Nuance.
Sind Embeddings teuer?
Nein, und das ist der Punkt. OpenAI listet text-embedding-3-small mit $0.02 pro Million Token, gegenüber $0.20 pro Million Eingabe-Token für GPT-5.6 Luna und $2 bis $5 für Frontier-Chat-Modelle zu OpenRouter-Listenpreisen, abgerufen am 2026-08-20. Finden ist zehn- bis hundertmal günstiger als Schreiben, weshalb Retrieval-Systeme alles embedden und nur die Antwort generieren.
Wo werden Embeddings in ChatGPT, Claude oder Gemini genutzt?
In den Funktionen, die Dinge finden: Datei-Upload und Chat mit Dokumenten, Suche über frühere Gespräche und Erinnerungsfunktionen, die Tatsachen aus früheren Chats abrufen. In jedem Fall ist das übliche Design, den Text zu embedden, die nächstgelegenen Treffer abzurufen und das Sprachmodell daraus schreiben zu lassen. Das Embedding ist für dich unsichtbar; der Retrieval-Fehltreffer, wenn er passiert, ist es nicht.
