Ett papper från 2017 ersatte rekurrens med attention
I juni 2017 publicerade åtta forskare, de flesta från Google, ett papper med titeln "Attention Is All You Need". Det föreslog ett nätverk för att översätta meningar som tog bort de rekurrenta lager alla använde och behöll bara en operation, attention, staplad många gånger. Basmodellen hade 65 miljoner parametrar och slog de tidigare bästa systemen för engelska till tyska översättning, samtidigt som den tränades på en bråkdel av tiden.
Idén var titeln. Tidigare språknätverk läste en mening en token i taget och förde en löpande sammanfattning framåt, så det tjugonde ordet kände bara till det första genom vad som överlevde nitton steg av komprimering. En transformer läser hela sekvensen på en gång. Varje token frågar varje annan token "hur relevant är du för mig", viktar dem och bygger sin betydelse från svaret. Ordet "bank" uppmärksammar "flod" eller "konto" och blir olika varje gång.
Nio år senare är samma design, uppskalad, det som svarar när du skriver in i ChatGPT. GPT står för generative pretrained transformer. Claude, Gemini, Llama, DeepSeek och Qwen är också transformers, med etiketten borttagen eftersom det inte finns något annat att jämföra med.
Attention är en viktad uppslagning, och varje token gör en per lager
Ta meningen "Trofén fick inte plats i resväskan eftersom den var för stor." För att avgöra vad "den" betyder tittar en läsare tillbaka på "trofén" och "resväskan" och väljer den som passar ihop med "för stor". Attention är den uppslagningen, gjord med siffror.
Varje token omvandlas till tre vektorer: en query (vad letar jag efter), en key (vad erbjuder jag) och ett value (vad bidrar jag med om jag väljs). Token "den" jämför sin query mot varje annan tokens key, får en relevanspoäng per token, omvandlar poängen till vikter som summerar till ett, och lägger ihop values enligt de vikterna. Dess nya representation är mest "trofén" med lite av allt annat. Modellen gör detta parallellt för varje token, i flera oberoende "huvuden" som lär sig spåra olika relationer, och upprepar det i dussintals staplade lager.
Två konsekvenser följer direkt. Eftersom varje token bearbetas i samma steg körs hela lagret som en enda stor matrismultiplikation, vilket är precis vad en GPU är byggd för, och papperets basmodell tränades på tolv timmar på åtta GPU:er. Och eftersom varje token jämförs mot varje annan växer kostnaden för ett lager med kvadraten av sekvenslängden: dubbelt så många tokens, fyra gånger så mycket attention-arbete.
Varför kvadraten är siffran som når din faktura
Den kvadratiska kostnaden är varför kontextfönstret är specifikationen leverantörer tävlar om, och varför det inte är gratis att använda det. En modell som accepterar 1 000 000 tokens måste göra attention över ett rutnät på en miljon gånger en miljon relevanspoäng, i varje huvud, i varje lager, och den teknik som gör det överkomligt (glesa mönster, glidande fönster, billigare attention-varianter och cachning av tidigare tokens keys och values så att en uppföljande vändning inte behöver göra om dem) är varför ett fönster på 1 000 000 tokens prissätts per token istället för att nekas.
I AI-modellernas kostnadsindex har 47 av de 100 prissatta raderna ett fönster på 1 000 000 tokens eller mer, upp från 512 tokens i GPT-1 och 2 048 i GPT-3. Var och en av dem tar fortfarande betalt per inmatad token, eftersom varje token du skickar är en rad i det rutnätet. Ett dokument på 300 000 tokens som får tio frågor är 3 miljoner inmatade tokens, och vad är tokens inom AI prissätter det till $6 på Claude Sonnet 5. Arkitekturen förklarar fakturan.
Det förklarar också felläget. En transformer har inget minne utanför sitt fönster. Det som inte finns i sekvensen existerar inte för den, vilket är varför en lång konversation glömmer sin början och varför retrieval, ämnet för vad är RAG, finns för att lägga tillbaka rätt tokens.
Encoder, decoder eller båda: formen avgör vad modellen är till för
2017 års modell hade två halvor: en encoder som läste källmeningen och en decoder som skrev översättningen. Nästan varje modell sedan dess behåller bara en halva.
| Form | Vad den gör | Tränad för att | Exempel |
|---|---|---|---|
| Bara encoder | Läser text och skapar en representation av den | Fylla i maskerade ord | BERT (2018), embedding-modellerna bakom sökning |
| Bara decoder | Skriver text en token i taget | Förutsäga nästa token | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Encoder och decoder | Läser en sekvens, skriver en annan | Översätta eller omvandla | Originalmodellen från 2017, T5 |
Chattmodellerna du använder är alla bara decoder. Det valet, som GPT-1 gjorde 2018 och varje chattmodell har kopierat sedan dess, är varför en språkmodell genererar snarare än slår upp: hela nätverket är en next-token-förutsägare, vad är temperature inom AI täcker reglaget som väljer token, och vad är en LLM följer den tråden till hallucination och resten. Bara-encoder-modeller försvann inte. De blev embedding-modellerna som omvandlar text till vektorer för sökning, vilket är det andra jobbet attention visade sig vara bra på.
Vision följde samma väg. 2020 skar Vision Transformer-papperet en bild i 16x16 pixel-lappar, behandlade varje lapp som en token och matchade de bästa konvolutionella nätverken. Det är varför samma modell nu kan läsa din skärmdump och din paragraf: båda kommer in som en sekvens av tokens och går genom samma attention-lager. Bildgenerering är undantaget, de flesta bildmodeller är diffusionsmodeller, en annan design som vad är generativ AI skiljer ut.
Nio år från ett papper till varje frontlinjemodell, daterat
Tidslinjen nedan går från 2017 års papper till modellerna Whizi routar till idag. Orange markerar de releaser som skickade med öppna vikter, vilket är hur designen spreds bortom de två labben som byggde den först.
Parameterantalen berättar skalhistorien i tre siffror: 65 miljoner i 2017 års basmodell, 175 miljarder i GPT-3 tre år senare, och 2,4 biljoner i den största Qwen-modellen kostnadsindexet prissätter 2026, varav ungefär 95 miljarder är aktiva på en enda token. Arkitekturen förändrades inte i grunden över det spannet. Den blev bredare, djupare och bättre matad. Vadet den här sidan gör: ingen frontlinjemodell som släpps före 2028 kommer vara något annat än en transformer, och AI-modellernas tidslinje är där det kontrolleras.
- Läs "transformer" som "designen varje nuvarande textmodell delar", det säger inte vilken modell som är bättre
- Förvänta dig att kostnad och nedsaktning växer snabbare än linjärt med kontextlängden, och håll långa uppladdningar till det avsnitt du behöver
- Anta att en modell glömmer allt utanför sitt fönster, upprepa de viktiga fakta eller använd ett projekt för att fästa dem
- Behandla vision och text som samma pipeline: en skärmdump är också tokens, så fråga om den som du skulle fråga om en paragraf
- Kontrollera releasedatumet innan du litar på vad en modell vet, arkitekturen har ingen klocka
Vanliga frågor
Vad betyder transformer inom AI?
En transformer är en neural nätverksarkitektur från 2017 års papper Attention Is All You Need. Den bearbetar varje token i en sekvens parallellt med hjälp av attention, en operation där varje token väger sin relevans mot varje annan, och det är designen inuti GPT, Claude, Gemini, Llama, DeepSeek och Qwen. Papperet förklarar inte varför de valde namnet.
Vad betyder GPT?
Generative pretrained transformer. Generative eftersom den producerar text, pretrained eftersom den lär sig från ett stort korpus innan den finjusteras för chatt, och transformer eftersom det är nätverksarkitekturen. OpenAI introducerade namnet med GPT-1 i juni 2018.
Vad är attention-mekanismen?
Operationen i centrum av en transformer. Varje token beräknar en relevanspoäng mot varje annan token i sekvensen, omvandlar poängen till vikter och blandar de andra tokens representationer enligt dessa vikter. Så lär sig "den" betyda "trofén" i en mening och "resväskan" i en annan. Den körs parallellt över alla tokens och i flera huvuden per lager.
Varför ersatte transformers rekurrenta neurala nätverk?
Rekurrenta nätverk läste tokens en efter en och var tvungna att föra information framåt genom varje steg, vilket begränsade både vad de kom ihåg och hur snabbt de tränades. Transformers läser hela sekvensen på en gång, så de behåller direkt tillgång till varje tidigare token och tränas som parallella matrisoperationer som GPU:er kör effektivt. 2017 års papper matchade de bästa översättningssystemen på en bråkdel av träningstiden.
Är alla AI-modeller transformers?
Varje frontlinje-LLM är det, och det är varje textmodell Whizi erbjuder också, undantagen är forskningslinjer som Mamba och hybrider som Jamba, ingen av vilka leder ett benchmark. Bildgeneratorer som Stable Diffusion och Flux är diffusionsmodeller, en annan design, även om många använder en transformer inuti för att läsa prompten. Visionsmodeller som läser bilder är transformers sedan 2020 års Vision Transformer-papper, som behandlar bildlappar som tokens.
