Embedding je místo a význam je vzdálenost
Zadejte embedding modelu větu "jak dostanu peníze zpátky" a vrátí vám seznam čísel. Zadejte mu "reklamační řád" a vrátí jiný seznam. Ty dva seznamy jsou blízko sebe. Zadejte mu "reklamace elektronů v katodě" a seznam skončí daleko, přestože sdílí stejné slovo.
V tom je celý trik. Model se naučil umísťovat text do prostoru se stovkami nebo tisíci dimenzí tak, aby o umístění rozhodoval význam, ne slovní zásoba. Jakmile je text místem, otázky o významu se stávají otázkami o vzdálenosti, a vzdálenost umí počítač spočítat pro milion položek během milisekund.
Slavná raná ukázka z práce word2vec z roku 2013 byla aritmetika s pozicemi slov: vezměte vektor pro "král", odečtěte "muž", přičtěte "žena" a nejbližší slovo k výsledku je "královna". Moderní embedding modely dělají totéž s celými větami a dokumenty, jen jsou vektory delší.
Jak velký je embedding u modelů, které lidé skutečně používají
Délka seznamu se nazývá počet dimenzí. S modely rostla.
word2vec v roce 2013 používal 300 dimenzí a BERT base 768 v roce 2018; Voyage 3 vrací 1 024, OpenAI text-embedding-3-small vrací 1 536 čísel na jeden vstup a text-embedding-3-large vrací 3 072; Gemini Embedding od Googlu má také výchozích 3 072. Víc dimenzí umí zachytit jemnější rozdíly, za cenu úložiště a času porovnávání, a proto novější modely umožňují seznam zkrátit na menší velikost, když je rychlost důležitější než jemnost.
Každé z těch čísel samo o sobě nic neznamená. Dimenze 412 není "formálnost" ani "téma". Význam je jen v tom, kde celý seznam skončí vzhledem k ostatním seznamům, a proto je embedding bez sbírky, s níž se srovnává, k ničemu.
Embedding modely hledají, jazykové modely píší
Lidé ty dva pojmy pletou, protože obojí je "AI na text". Jde ale o odlišné modely s opačnou úlohou.
| Embedding model | Jazykový model (LLM) | |
|---|---|---|
| Vstup | Text (nebo obrázek) | Text (nebo obrázek) |
| Výstup | Pevný seznam čísel | Nový text, token po tokenu |
| Úloha | Umístit vstup tak, aby podobné věci byly blízko | Pokračovat ve vstupu smysluplným způsobem |
| Použití | Vyhledávání, párování, shlukování, získávání dat | Odpovídání, psaní, shrnování |
| Cena za milion tokenů | $0.02 u text-embedding-3-small | $0.20 u nejlevnějšího řádku GPT, $2 až $10 u špičkových |
| Může se splést? | Může na první místo zařadit slabou shodu | Může si odpověď vymyslet |
Řádek s cenou stojí za povšimnutí. Embedding milionu tokenů u malého modelu OpenAI stojí $0.02, oproti $0.20 za milion vstupních tokenů u GPT-5.6 Luna, což je s Luna Pro a GPT-5.4 Nano nejlevnější řádek GPT podle indexu cen AI modelů při cenách OpenRouter z 2026-08-20. Hledání je desetkrát levnější než nejlevnější psaní od GPT a nejméně stokrát levnější než psaní od špičkových modelů. Právě kvůli tomuto rozdílu každý seriózní systém nejdřív hledá a teprve pak píše. Psaní pokrývá co je LLM.
Kde embeddingy běží, aniž byste je viděli
Chat s vašimi dokumenty. Když nahrajete dlouhé PDF a položíte otázku, soubor se rozdělí na pasáže, každá pasáž se převede na embedding a uloží do vektorové databáze, vaše otázka se také převede na embedding a pasáže, jejichž vektory leží nejblíž, se předají jazykovému modelu jako kontext. Model odpoví z těchto pasáží. Tomu se říká retrieval-augmented generation a co je RAG prochází celý postup; embeddingy jsou jeho krokem vyhledávání. Návod chat s PDF popisuje, jak se ptát na nahraný soubor ve Whizi.
Zda se dokument prohledává, nebo čte celý najednou, závisí na okně. Kontextové okno jednotlivých modelů, ve stránkách, je níže; cokoli se vejde, může jít dovnitř celé, a získávání dat existuje pro sbírky, které se nevejdou.
Vyhledávání, které rozumí synonymům. Web podpory, který na dotaz "přestat platit" vrátí článek o zrušení, porovnává embeddingy, ne slova.
Doporučování a shlukování. Položky s blízkými vektory jsou podobné položky: související produkty, duplicitní tikety, články na stejné téma.
Funkce paměti v chatovacích aplikacích. Když si asistent "pamatuje" fakt ze staré konverzace, běžná implementace převádí staré poznámky na embeddingy a do promptu vkládá ty nejbližší.
V každém případě embedding provádí hledání a rozhodování nebo psaní dělá něco jiného. Selhání vypadá všude stejně: pokud je nejbližší vektor špatná pasáž, vše po proudu sebejistě odpovídá na jinou otázku, což je chyba získávání dat, kterou co je halucinace AI uvádí jako samostatné selhání odlišné od vymýšlení.
Co s tou myšlenkou umíte udělat bez psaní kódu
S embeddingem přímo pracovat budete jen zřídka, ale znalost mechanismu mění, jak používáte nástroje, které na něm stojí.
- Ptejte se jazykem odpovědi. Získávání dat páruje vaši otázku s pasážemi podle významu. Otázka formulovaná tak, jak to dělá dokument, skončí blíž než otázka formulovaná tak, jak byste ji řekli nahlas.
- Rozdělujte velké nahrávky podle tématu. Soubor s 400 stránkami a třemi nesouvisejícími tématy se převede na přeplněný prostor; tři samostatné soubory se vyhledávají čistě.
- Přečtěte si citovanou pasáž. Pokud odpověď z chatu se souborem cituje pasáž, otevřete ji. Chyba získávání dat vypadá jako sebevědomá odpověď na trochu jinou otázku.
- Počítejte s tím, že to selže na přesných řetězcích. Embeddingy se týkají významu; číslo faktury nebo kód dílu lépe najde obyčejné textové vyhledávání, a dobré nástroje kombinují obojí.
Rozhodovací pravidlo zní: když je úkolem najít správnou položku mezi mnoha, chcete embedding model, a ten by měl být levný. Když je úkolem něco vytvořit, chcete jazykový model, a ten by měl být dobrý. Produkty, které toto rozdělení zvládnou správně, jsou ty, jejichž chat se soubory skutečně funguje.
- Pamatujte si rozdělení: embeddingy hledají, jazykové modely píší
- Formulujte otázky k nahranému dokumentu jeho vlastními slovy
- Rozdělte velké nahrávky podle tématu, aby mělo získávání dat čistší prostor k prohledávání
- Otevřete citovanou pasáž u každé odpovědi z chatu se souborem, než jí uvěříte
- Pro přesné řetězce jako ID a kódy použijte obyčejné textové vyhledávání; embeddingy porovnávají význam, ne znaky
Časté dotazy
Co je embedding jednoduše řečeno?
Seznam čísel, který zastupuje význam textu, umístěný tak, že podobné významy dostanou podobné seznamy. "Reklamační řád" a "jak dostanu peníze zpátky" skončí blízko sebe; věta o chemii se slovem reklamace skončí daleko. Vzdálenost mezi seznamy je způsob, jakým počítač měří příbuznost.
Jaký je rozdíl mezi embedding modelem a LLM?
Embedding model vrací pevný seznam čísel reprezentujících význam; jazykový model vrací nový text token po tokenu. První hledá a páruje, druhý píše a odpovídá. Chat s vašimi dokumenty používá oba: embeddingy k vyhledání relevantních pasáží, LLM k napsání odpovědi z nich.
Kolik dimenzí má embedding?
Záleží na modelu. word2vec v roce 2013 používal 300, BERT base 768 a současné modely se pohybují od 1 024 do 3 072: OpenAI text-embedding-3-small vrací 1 536 a text-embedding-3-large vrací 3 072, stejně jako výchozí Gemini Embedding od Googlu. Novější modely umožňují zkrátit počet dimenzí, když je rychlost důležitější než jemnost.
Jsou embeddingy drahé?
Ne, a v tom je ten smysl. OpenAI uvádí text-embedding-3-small za $0.02 za milion tokenů, oproti $0.20 za milion vstupních tokenů u GPT-5.6 Luna a $2 až $5 u špičkových chatovacích modelů podle ceníku OpenRouter z 2026-08-20. Hledání je desetkrát až stokrát levnější než psaní, a proto systémy pro získávání dat převádějí na embedding vše a generují jen odpověď.
Kde se embeddingy používají v ChatGPT, Claude nebo Gemini?
Ve funkcích, které něco hledají: nahrávání souborů a chat s dokumenty, vyhledávání ve vašich starších konverzacích a paměť, která si vybaví fakta z dřívějších chatů. Ve všech případech je běžný postup převést text na embedding, vyhledat nejbližší shody a nechat jazykový model napsat odpověď z nich. Embedding je pro vás neviditelný; chyba získávání dat, když nastane, neviditelná není.
