Co je LLM?

Tři slova v pořadí, na kterém záleží

Rozeberme si název pozpátku.

Model. Model je funkce, která mění vstup na výstup, přičemž pravidla se naučí z dat, ne je nenapíše programátor. Model počasí bere dnešní naměřené hodnoty a vydává zítřejší předpověď. Jazykový model bere text a vydává pravděpodobnost toho, co bude následovat.

Jazykový. Vstup i výstup jsou text, rozsekaný na tokeny, což jsou kousky slov. Co jsou tokeny v AI rozebírá tuto jednotku podrobněji; zkráceně řečeno, model čte a píše ve fragmentech odpovídajících zhruba třem čtvrtinám slova.

Velký. Model má velmi velký počet parametrů, tedy vnitřních čísel, která trénink upravuje. GPT-2 v roce 2019 měl 1,5 miliardy. GPT-3 v roce 2020 měl 175 miliard. Katalog, který tento web oceňuje v roce 2026, zahrnuje model Qwen s 2,4 bilionu parametrů, z nichž je při jednom tokenu aktivních zhruba 95 miliard. Slovo „velký“ v názvu odvádí spoustu práce a počet parametrů za sedm let vzrostl více než tisícinásobně.

LLM je tedy velmi velký prediktor dalšího tokenu. Všechny ostatní vlastnosti, které mu lidé připisují, uvažování, tón, sebejisté chyby, vyplývají právě z této jediné úlohy.

LLM není chatbot, a ten rozdíl je celý produkt

ChatGPT je aplikace. GPT je model uvnitř ní. Claude je zároveň rodina modelů i aplikace, kterou kolem nich staví Anthropic. U Gemini a Google je to stejný příběh. Co je AI chatbot popisuje vrstvu aplikace; tato stránka se věnuje motoru.

Rozdíl přestává být teoretický ve chvíli, kdy zjistíte, že motor lze vyměnit. Stejné chatovací okno může vaši zprávu poslat modelu GPT, Claude, Gemini, DeepSeek nebo Llama, a odpovědi se liší tónem, cenou, rychlostí i přesností. Multi-model workspace jako Whizi je přesně toto: jedno okno, 280+ modelů za ním a přepínač, který vybere, kdo odpoví. Aplikace je volant. LLM je motor, a motorů jsou desítky.

Jak se LLM trénuje, ve dvou fázích

Fáze jedna, pretraining. Model čte obrovský korpus textu a na každé pozici se snaží uhodnout další token. Každý špatný odhad trochu posune parametry. Meta uvedla, že Llama 3 byl pretrénovaný na více než 15 bilionech tokenů, což při zhruba 100 000 tokenech na 75 000slovný román (tři čtvrtiny slova na token) odpovídá textu zhruba 150 milionů knih. Po této fázi je model skvělý autodoplňovač a slabý asistent: zeptáte se ho na otázku a on ji možná doplní o další tři otázky, protože přesně to text na internetu často dělá.

Fáze dvě, post-training. Modelu se poté ukazují příklady dobrých odpovědí a lidé hodnotí, která ze dvou odpovědí je lepší, což se nazývá zpětnovazební učení s lidskou zpětnou vazbou (RLHF). Odtud pochází chování asistenta: odpovídání v požadovaném formátu a odmítání některých požadavků. Je to koučink, ne nové znalosti. Fakta stále pocházejí z první fáze.

Ze dvou fází plynou dvě věci. Znalosti modelu končí datem, kdy skončila data pro pretraining, a proto má každý model tzv. knowledge cutoff. A ani jedna fáze nezavádí kontrolu faktů: model se naučil produkovat pravděpodobný text a poté produkovat text, který se líbí. Pravda je u obojího jen častým vedlejším produktem, ne zárukou. Proč se AI mýlí rozvádí toto téma dál.

Proč LLM předpovídá místo toho, aby vyhledával

Vyhledávač vyhledává. Má index stránek a vrací ty, které odpovídají dotazu. LLM žádný index nemá. Vše, co četl během pretrainingu, se zkomprimovalo do jeho parametrů, a v čase odpovědi z této komprese znovu generuje text, token po tokenu, přičemž každý token vybírá z pravděpodobnostního rozdělení.

Proto umí LLM napsat funkční recept na jídlo, jehož název nikdy neviděl, a zároveň proto umí vytvořit soudní citaci, která neexistuje. Obojí jsou pravděpodobná pokračování. Model nemá žádný samostatný mechanismus, který by ověřoval, zda je pravděpodobné pokračování zároveň skutečné.

Řešení, které produkty používají, je přidat vyhledávání navrch: nejprve prohledat web nebo vaše soubory, pak modelu předat pasáže a požádat ho, aby odpovídal z nich. Tato technika se nazývá RAG a co je RAG ji vysvětluje. Vyhledávání na webu uvnitř chatovací aplikace je RAG s internetem jako zdrojem. Model stále předpovídá, jen předpovídá z lepšího materiálu.

Co si v rámci rodiny koupíte za cenu, změřeno

Každá rodina nabízí žebříček: malý model, prostřední a vlajkovou loď. Artificial Analysis Intelligence Index, souhrnné skóre napříč veřejnými testy uvažování, kódování a znalostí, přiřadí číslo každému stupni, a žebříček k tomu uvádí kombinovanou cenu za milion tokenů. Čtyři žebříčky níže byly načteny 2026-09-17.

OpenAI si za 18násobek ceny koupí 15 bodů, Anthropic za 36násobek 35 bodů, Qwen za 16násobek 19 bodů. DeepSeek tento vzorec porušuje: V4 Flash skóruje výš než V4 Pro za méně než polovinu ceny. Z toho plynou dvě věci. V rámci jedné rodiny jsou poslední body ty nejdražší, takže na krátkou faktickou otázku dá malý model stejnou odpověď jako vlajková loď. A napříč rodinami je cena slabým vodítkem kvality: DeepSeek V4 Flash za $0.27 za milion tokenů skóruje o dva body výš než Claude Sonnet 5 za $5.09. To je jedna nejužitečnější věc, kterou má kupující o LLM vědět: model je otočný knoflík, ne pevná cena. Whizi účtuje podle stejné logiky, jeden kredit za zprávu na domácím modelu, 20 za Claude Opus 5 a až 100 za nejdražší řádky, což rozepisuje jak fungují kredity ve Whizi po jednotlivých modelech.

Poctivé upozornění je, že souhrnný index je průměr přes úkoly. U dlouhého řetězce uvažování si vlajková loď svou cenu vydělá; u přepisu textu ne. Pro srovnání toho, v čem je která rodina skutečně dobrá, je stránka jaký AI model použít tou, kde se rozhodnout.

Co LLM neumí, v jednom seznamu

Vše níže je důsledek architektury, ne chyba, kterou napraví další verze.

• Nemůže vědět nic, co se stalo po jeho tréninkovém cutoffu, pokud mu vyhledávání nepředá text.
• Nedokáže spolehlivě počítat u dlouhých vstupů, protože pracuje s tokeny a pravděpodobnostmi, ne ve smyčce přes položky.
• Nedokáže ověřit svůj vlastní výstup; druhý průchod stejným modelem je jen tentýž prediktor, který hádá znovu.
• Nepamatuje si vás mezi konverzacemi, pokud produkt neukládá poznámky a nevkládá je zpět; taková paměť je funkce produktu, ne modelu.
• Nevidí celou konverzaci navždy. Každý model má kontextové okno, maximální množství textu, které dokáže naráz zvážit, a co je kontextové okno vysvětluje, co se stane, když na tento limit narazíte.

Praktický důsledek: berte LLM jako plynulého, občas se mýlícího kolegu, a ověřování si nechte na své straně stolu. Smyčka, která z modelu udělá něco, co jedná samo za sebe, je jiná věc, a co je AI agent tuto hranici vytyčuje. U čehokoli, s čím je spojena cena, se zeptejte i druhého modelu. Shoda dvou různých prediktorů je slabý důkaz; neshoda je silný signál k ověření.