Hva er en transformer i AI?

Ett 2017-papir erstattet rekurrens med attention

I juni 2017 publiserte åtte forskere, de fleste ved Google, et papir med tittelen "Attention Is All You Need". Det foreslo et nettverk for å oversette setninger som droppet de rekurrente lagene alle brukte, og beholdt bare én operasjon, attention, stablet mange ganger. Grunnmodellen hadde 65 millioner parametere og slo de tidligere beste engelsk til tysk-oversettelsessystemene mens den trente på en brøkdel av tiden.

Ideen var selve tittelen. Tidligere språknettverk leste en setning ett token om gangen, og bar en løpende oppsummering videre, så det tjuende ordet kjente bare til de nitten første gjennom det som overlevde nitten kompresjonssteg. En transformer leser hele sekvensen på én gang. Hvert token spør hvert annet token "hvor relevant er du for meg", vekter dem og bygger sin mening fra svaret. Ordet "bank" retter oppmerksomheten mot "elv" eller mot "konto" og blir forskjellig hver gang.

Ni år senere er det samme designet, skalert opp, det som svarer når du skriver inn i ChatGPT. GPT står for generative pretrained transformer. Claude, Gemini, Llama, DeepSeek og Qwen er også transformere, med betegnelsen droppet fordi det ikke finnes noe annet å sammenligne med.

Attention er et vektet oppslag, og hvert token gjør ett per lag

Ta setningen "Trofeet passet ikke i kofferten fordi det var for stort." For å avgjøre hva "det" betyr, ser en leser tilbake på "trofeet" og "kofferten" og velger den som gir mening sammen med "for stort". Attention er det oppslaget, gjort med tall.

Hvert token gjøres om til tre vektorer: en query (hva ser jeg etter), en key (hva tilbyr jeg) og en value (hva bidrar jeg med hvis jeg velges). Tokenet "det" sammenligner sin query med hvert annet tokens key, får en relevansscore per token, gjør scorene om til vekter som summerer til én, og legger sammen verdiene etter disse vektene. Den nye representasjonen er hovedsakelig "trofeet" med litt av alt annet. Modellen gjør dette parallelt for hvert token, i flere uavhengige "hoder" som lærer å følge ulike relasjoner, og gjentar det i dusinvis av stablede lag.

To konsekvenser følger direkte. Fordi hvert token behandles i samme steg, kjører hele laget som én stor matrisemultiplikasjon, som er akkurat det en GPU er bygget for, og papirets grunnmodell trente på tolv timer på åtte GPU-er. Og fordi hvert token sammenlignes med hvert annet, vokser kostnaden for ett lag med kvadratet av sekvenslengden: dobbelt så mange token betyr fire ganger så mye attention-arbeid.

Hvorfor kvadratet er tallet som når regningen din

Den kvadratiske kostnaden er hvorfor kontekstvinduet er spesifikasjonen leverandørene konkurrerer på, og hvorfor det å bruke det ikke er gratis. En modell som tar imot 1 000 000 token må gjøre attention over et gitter av relevansscore på en million ganger en million, i hvert hode, i hvert lag, og ingeniørkunsten som gjør det overkommelig (sparsomme mønstre, glidende vinduer, billigere attention-varianter og caching av tidligere tokens key og value slik at en oppfølgingsrunde ikke gjør dem om igjen) er hvorfor et vindu på 1 000 000 token prises per token i stedet for å bli avvist.

I AI-modellkostindeksen har 47 av de 100 prisede radene et vindu på 1 000 000 token eller mer, opp fra 512 token i GPT-1 og 2 048 i GPT-3. Alle fakturerer fortsatt per input-token, fordi hvert token du sender er en rad i det gitteret. Et dokument på 300 000 token som får ti spørsmål, blir 3 millioner input-token, og hva er token i AI priser det til $6 på Claude Sonnet 5. Arkitekturen forklarer fakturaen.

Den forklarer også svikten. En transformer har ingen hukommelse utenfor vinduet sitt. Det som ikke er i sekvensen, finnes ikke for den, som er grunnen til at en lang samtale glemmer starten sin, og hvorfor gjenfinning, temaet i hva er RAG, finnes for å legge de riktige tokenene tilbake.

Encoder, decoder eller begge: formen avgjør hva modellen er til for

2017-modellen hadde to halvdeler: en encoder som leste kildesetningen og en decoder som skrev oversettelsen. Nesten hver modell siden beholder bare den ene halvdelen.

Chat-modellene du bruker er alle bare decoder. Det valget, som GPT-1 tok i 2018 og hver chat-modell har kopiert siden, er hvorfor en språkmodell genererer i stedet for å slå opp: hele nettverket er en neste-token-prediktor, hva er temperatur i AI dekker bryteren som velger tokenet, og hva er en LLM følger den tråden til hallusinasjon og resten. Encoder-bare modeller forsvant ikke. De ble embedding-modellene som gjør tekst om til vektorer for søk, som er den andre jobben attention viste seg å være god på.

Syn fulgte samme sti. I 2020 kuttet Vision Transformer-papiret et bilde i 16 ganger 16 pikslers biter, behandlet hver bit som et token, og matchet de beste konvolusjonsnettverkene. Det er grunnen til at samme modell nå kan lese skjermbildet ditt og avsnittet ditt: begge kommer inn som en sekvens av token og går gjennom de samme attention-lagene. Bildegenerering er unntaket, de fleste bildemodeller er diffusjonsmodeller, et annet design som hva er generativ AI skiller ut.

Ni år fra ett papir til enhver frontlinjemodell, datert

Tidslinjen under går fra 2017-papiret til modellene Whizi ruter til i dag. Oransje markerer utgivelsene som ble sluppet med åpne vekter, som er hvordan designet spredte seg utover de to laboratoriene som bygde det først.

Antall parametere forteller skalahistorien i tre tall: 65 millioner i 2017-grunnmodellen, 175 milliarder i GPT-3 tre år senere, og 2,4 billioner i den største Qwen-modellen kostindeksen priser i 2026, hvorav omtrent 95 milliarder er aktive på ett enkelt token. Arkitekturen har ikke endret seg i sin natur gjennom det spennet. Den ble bredere, dypere og bedre matet. Veddemålet denne siden gjør: ingen frontlinjemodell utgitt før 2028 vil være noe annet enn en transformer, og AI-modelltidslinjen er der det sjekkes.