Jeden článek z roku 2017 nahradil rekurenci pomocí attention
V červnu 2017 osm výzkumníků, většina z Googlu, publikovalo článek s názvem "Attention Is All You Need". Navrhli v něm síť pro překlad vět, která zahodila rekurentní vrstvy, jež do té doby používal každý, a ponechala pouze jednu operaci, attention, mnohokrát naskládanou na sebe. Základní model měl 65 milionů parametrů a překonal tehdejší nejlepší systémy pro překlad z angličtiny do němčiny, přitom se trénoval za zlomek času.
Ten nápad byl přímo v názvu. Starší jazykové sítě četly větu token po tokenu a nesly si s sebou průběžné shrnutí, takže dvacáté slovo znalo z prvních devatenácti kroků jen to, co přežilo kompresi. Transformer čte celou sekvenci naráz. Každý token se ptá každého jiného tokenu "jak jsi pro mě relevantní", přiřadí mu váhu a z odpovědí si postaví svůj význam. Slovo "banka" věnuje pozornost slovu "řeka" nebo slovu "účet" a pokaždé z toho vyjde jinak.
O devět let později stejný návrh, jen mnohem větší, odpovídá, když napíšete něco do ChatGPT. GPT znamená generative pretrained transformer. Claude, Gemini, Llama, DeepSeek a Qwen jsou taky transformery, jen se to už u nich nezmiňuje, protože není s čím to srovnávat.
Attention je vážené vyhledávání a každý token ho dělá jednou za vrstvu
Vezměte si větu "Trofej se nevešla do kufru, protože byla příliš velká." Aby čtenář zjistil, co znamená "byla", podívá se zpět na "trofej" a "kufr" a vybere tu variantu, která dává smysl s "příliš velká". Attention je přesně tohle vyhledávání, jen prováděné čísly.
Každý token se převede na tři vektory: dotaz (co hledám), klíč (co nabízím) a hodnotu (co přispěju, pokud si mě vyberou). Token "byla" porovná svůj dotaz s klíčem každého jiného tokenu, dostane skóre relevance pro každý z nich, převede skóre na váhy, které se sečtou na jedničku, a podle těchto vah sečte hodnoty. Jeho nová reprezentace je z většiny "trofej" s trochou všeho ostatního. Model to dělá paralelně pro každý token, v několika nezávislých "hlavách", které se učí sledovat různé vztahy, a opakuje to v desítkách naskládaných vrstev.
Z toho plynou dva přímé důsledky. Protože se každý token zpracovává ve stejném kroku, celá vrstva běží jako jedno velké maticové násobení, přesně to, na co je GPU stavěné, a základní model z článku se trénoval dvanáct hodin na osmi GPU. A protože se každý token porovnává s každým jiným, náklady na jednu vrstvu rostou s druhou mocninou délky sekvence: dvojnásobek tokenů znamená čtyřnásobek práce s attention.
Proč druhá mocnina nakonec dopadne na váš účet
Právě kvadratické náklady jsou důvod, proč je kontextové okno parametr, ve kterém poskytovatelé soutěží, a proč jeho využití není zadarmo. Model, který přijímá 1 000 000 tokenů, musí spočítat attention pro mřížku relevance o velikosti milion krát milion, v každé hlavě, v každé vrstvě, a technika, díky které je to cenově dostupné (řídké vzory, posuvná okna, levnější varianty attention a ukládání dřívějších klíčů a hodnot tokenů do mezipaměti, aby se při navazujícím tahu nepočítaly znovu), je důvod, proč se okno o 1 000 000 tokenech účtuje za token, místo aby se rovnou odmítalo.
V cenovém indexu AI modelů má 47 ze 100 zpoplatněných řádků okno o velikosti 1 000 000 tokenů nebo více, zatímco GPT-1 mělo 512 tokenů a GPT-3 jen 2 048. Každý z nich přesto účtuje za vstupní token, protože každý token, který pošlete, je řádek v té mřížce. Dokument o 300 000 tokenech, ke kterému položíte deset otázek, znamená 3 miliony vstupních tokenů, a co jsou tokeny v AI uvádí, že to na Claude Sonnet 5 vyjde na $6. Architektura vysvětluje fakturu.
Vysvětluje i způsob selhání. Transformer nemá žádnou paměť mimo své okno. Co není v sekvenci, pro něj neexistuje, a proto dlouhá konverzace zapomene svůj začátek a proto existuje retrieval, téma co je RAG, aby vrátil správné tokeny zpátky dovnitř.
Encoder, decoder, nebo obojí: tvar rozhoduje, k čemu je model určený
Model z roku 2017 měl dvě poloviny: encoder, který četl zdrojovou větu, a decoder, který psal překlad. Skoro každý model od té doby si ponechává jen jednu polovinu.
| Tvar | Co dělá | Trénovaný na | Příklady |
|---|---|---|---|
| Pouze encoder | Čte text a vytváří jeho reprezentaci | Doplňování zamaskovaných slov | BERT (2018), embedding modely za vyhledáváním |
| Pouze decoder | Píše text token po tokenu | Předpověď dalšího tokenu | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Encoder a decoder | Čte jednu sekvenci, píše druhou | Překlad nebo transformace | Původní model z roku 2017, T5 |
Chatovací modely, které používáte, jsou všechny pouze decodery. Právě tato volba, kterou v roce 2018 udělal GPT-1 a od té doby ji kopíruje každý chatovací model, je důvod, proč jazykový model text generuje a nehledá ho: celá síť je predikce dalšího tokenu, co je temperature v AI popisuje ten parametr, který vybírá token, a co je LLM navazuje na toto téma až k halucinacím a dalším jevům. Modely pouze s encoderem nezmizely. Staly se z nich embedding modely, které mění text na vektory pro vyhledávání, což je druhá práce, ve které se attention ukázala jako dobrá.
Vidění šlo stejnou cestou. V roce 2020 článek Vision Transformer rozřezal obrázek na dlaždice o velikosti 16 krát 16 pixelů, každou dlaždici bral jako token a vyrovnal se nejlepším konvolučním sítím. Proto teď dokáže tentýž model číst váš screenshot i váš odstavec: obojí přichází jako sekvence tokenů a prochází stejnými attention vrstvami. Generování obrázků je výjimkou, většina obrazových modelů jsou difuzní modely, jiná architektura, kterou popisuje co je generativní AI.
Devět let od jednoho článku ke každému špičkovému modelu, podle data
Časová osa níže vede od článku z roku 2017 až k modelům, na které dnes Whizi směruje. Oranžově jsou vyznačena vydání s otevřenými váhami, díky kterým se návrh rozšířil za hranice dvou laboratoří, které ho vytvořily jako první.
Počty parametrů vyprávějí příběh měřítka ve třech číslech: 65 milionů v základním modelu z roku 2017, 175 miliard u GPT-3 o tři roky později a 2,4 bilionu u největšího modelu Qwen, který cenový index oceňuje v roce 2026, z čehož je na jednom tokenu aktivních přibližně 95 miliard. Architektura se v tomto rozsahu nezměnila svou podstatou. Zvětšila se do šířky, do hloubky a dostala lepší data. Sázka, kterou dělá tato stránka: žádný špičkový model vydaný před rokem 2028 nebude nic jiného než transformer, a časová osa AI modelů je místo, kde se to dá ověřit.
- Berte "transformer" jako "návrh, který sdílí každý dnešní textový model", neříká vám to, který model je lepší
- Počítejte s tím, že náklady a zpomalení rostou s délkou kontextu rychleji než lineárně, a dlouhé nahrávky omezte na tu část, kterou skutečně potřebujete
- Předpokládejte, že model zapomene vše mimo své okno, důležitá fakta si zopakujte nebo je připněte pomocí projektu
- Berte vidění a text jako stejný postup, i screenshot jsou tokeny, ptejte se na něj stejně jako na odstavec textu
- Než uvěříte tomu, co model tvrdí, zkontrolujte datum vydání, architektura žádné hodiny nemá
Časté dotazy
Co znamená transformer v AI?
Transformer je architektura neuronové sítě z článku z roku 2017 Attention Is All You Need. Zpracovává každý token sekvence paralelně pomocí attention, operace, při které každý token váží svou relevanci vůči všem ostatním, a je to architektura uvnitř GPT, Claude, Gemini, Llama, DeepSeek a Qwen. Článek neuvádí, proč si autoři vybrali právě tento název.
Co znamená GPT?
Generative pretrained transformer. Generative, protože vytváří text, pretrained, protože se učí z velkého korpusu ještě před doladěním na chat, a transformer, protože to je jeho síťová architektura. OpenAI tento název představilo s GPT-1 v červnu 2018.
Co je attention mechanismus?
Operace, která je jádrem transformeru. Každý token spočítá skóre relevance vůči každému jinému tokenu v sekvenci, převede skóre na váhy a podle nich smíchá reprezentace ostatních tokenů. Tak se "byla" v jedné větě naučí znamenat "trofej" a v jiné "kufr". Běží paralelně pro všechny tokeny a v několika hlavách na vrstvu.
Proč transformery nahradily rekurentní neuronové sítě?
Rekurentní sítě četly tokeny jeden po druhém a musely informace nést dál každým krokem, což omezovalo jak to, co si pamatovaly, tak rychlost trénování. Transformery čtou celou sekvenci naráz, díky čemuž mají přímý přístup ke každému dřívějšímu tokenu a trénují se jako paralelní maticové operace, které GPU zvládá efektivně. Model z článku z roku 2017 dosáhl výkonu nejlepších překladových systémů za zlomek doby trénování.
Jsou všechny AI modely transformery?
Každý špičkový LLM ano, stejně jako každý textový model, který nabízí Whizi, výjimkou jsou výzkumné linie jako Mamba a hybridy jako Jamba, z nichž žádná nevede žádný benchmark. Generátory obrázků jako Stable Diffusion a Flux jsou difuzní modely, jiná architektura, i když mnohé mají uvnitř transformer, který čte zadání. Modely pro vidění, které čtou obrázky, jsou transformery od článku Vision Transformer z roku 2020, který bere dlaždice obrázku jako tokeny.
