Hvad er en transformer AI? Ideen fra 2017 bag LLM'er

Én artikel fra 2017 erstattede recurrence med attention

I juni 2017 udgav otte forskere, de fleste fra Google, en artikel med titlen "Attention Is All You Need". Den foreslog et netværk til at oversætte sætninger, som droppede de recurrent lag, alle brugte, og kun beholdt én operation, attention, stablet mange gange. Basismodellen havde 65 millioner parametre og slog de bedste eksisterende engelsk til tysk-oversættelsessystemer, mens den trænede på en brøkdel af tiden.

Ideen var titlen. Tidligere sprognetværk læste en sætning ét token ad gangen og bar en løbende opsummering fremad, så det tyvende ord kun kendte det første gennem, hvad der overlevede nitten trins komprimering. En transformer læser hele sekvensen på én gang. Hvert token spørger alle andre tokens "hvor relevant er du for mig", vægter dem og bygger sin betydning ud fra svaret. Ordet "bank" retter opmærksomhed mod "flod" eller "konto" og kommer ud forskelligt hver gang.

Ni år senere er den samme design, opskaleret, det, der svarer, når du skriver i ChatGPT. GPT står for generative pretrained transformer. Claude, Gemini, Llama, DeepSeek og Qwen er også transformere, hvor betegnelsen er droppet, fordi der ikke er noget andet at sammenligne med.

Attention er et vægtet opslag, og hvert token gør ét per lag

Tag sætningen "Trofæet passede ikke i kufferten, fordi det var for stort." For at afgøre, hvad "det" betyder, kigger en læser tilbage på "trofæet" og "kufferten" og vælger det, der giver mening med "for stort". Attention er det opslag, gjort med tal.

Hvert token omdannes til tre vektorer: en query (hvad leder jeg efter), en key (hvad tilbyder jeg) og en value (hvad bidrager jeg med, hvis jeg vælges). Tokenet "det" sammenligner sin query med alle andre tokens' key, får en relevansscore per token, omdanner scorene til vægte, der summer til én, og lægger værdierne sammen efter disse vægte. Dets nye repræsentation er hovedsageligt "trofæet" med lidt af alt andet. Modellen gør dette parallelt for hvert token, i flere uafhængige "heads", der lærer at spore forskellige relationer, og gentager det i snesevis af stablede lag.

To konsekvenser følger direkte. Fordi hvert token behandles i samme trin, kører hele laget som én stor matrixmultiplikation, hvilket er præcis, hvad en GPU er bygget til, og artiklens basismodel trænede på tolv timer på otte GPU'er. Og fordi hvert token sammenlignes med alle andre, vokser omkostningen ved ét lag med kvadratet af sekvenslængden: dobbelt så mange tokens, fire gange så meget attention-arbejde.

Hvorfor kvadratet er det tal, der når din regning

Den kvadratiske omkostning er grunden til, at context window er den specifikation, udbydere konkurrerer på, og hvorfor det ikke er gratis at bruge. En model, der accepterer 1.000.000 tokens, skal udføre attention over et million-gange-million-gitter af relevansscorer, i hvert head, i hvert lag, og den teknik, der gør det økonomisk overkommeligt (sparsomme mønstre, sliding windows, billigere attention-varianter og caching af tidligere tokens' keys og values, så en opfølgende tur ikke gør arbejdet om) er grunden til, at et 1.000.000-token window prisfastsættes per token i stedet for at blive afvist.

I AI model cost index har 47 af de 100 prissatte rækker et window på 1.000.000 tokens eller mere, op fra 512 tokens i GPT-1 og 2.048 i GPT-3. Hver eneste af dem opkræver stadig per input-token, fordi hvert token, du sender, er en række i det gitter. Et dokument på 300.000 tokens, der stilles ti spørgsmål, er 3 millioner input-tokens, og hvad er tokens i AI prissætter det til $6 på Claude Sonnet 5. Arkitekturen forklarer regningen.

Den forklarer også fejltilstanden. En transformer har ingen hukommelse uden for sit window. Hvad der ikke er i sekvensen, findes ikke for den, hvilket er grunden til, at en lang samtale glemmer sin start, og hvorfor retrieval, emnet for hvad er RAG, findes for at sætte de rigtige tokens tilbage.

Encoder, decoder eller begge: formen afgør, hvad modellen er til

2017-modellen havde to halvdele: en encoder, der læste kildesætningen, og en decoder, der skrev oversættelsen. Næsten hver eneste model siden beholder kun den ene halvdel.

De chatmodeller, du bruger, er alle kun decoder. Det valg, som GPT-1 traf i 2018, og som hver chatmodel har kopieret siden, er grunden til, at en sprogmodel genererer frem for at slå op: hele netværket er en next-token-forudsiger, hvad er temperatur i AI dækker skiven, der vælger tokenet, og hvad er en LLM følger den tråd til hallucination og resten. Kun-encoder-modeller forsvandt ikke. De blev til de embedding-modeller, der omdanner tekst til vektorer til søgning, hvilket er det andet job, attention viste sig at være god til.

Vision fulgte samme vej. I 2020 skar Vision Transformer-artiklen et billede op i 16-gange-16-pixel patches, behandlede hver patch som et token og matchede de bedste konvolutionelle netværk. Det er grunden til, at den samme model nu kan læse dit skærmbillede og dit afsnit: begge ankommer som en sekvens af tokens og går gennem de samme attention-lag. Billedgenerering er undtagelsen; de fleste billedmodeller er diffusionsmodeller, en anden design, som hvad er generativ AI adskiller.

Ni år fra én artikel til hver frontier-model, dateret

Tidslinjen nedenfor løber fra 2017-artiklen til de modeller, Whizi ruter til i dag. Orange markerer udgivelserne, der leverede åbne vægte, hvilket er, hvordan designet spredte sig ud over de to laboratorier, der byggede det først.

Parametertal fortæller skala-historien i tre tal: 65 millioner i 2017-basismodellen, 175 milliarder i GPT-3 tre år senere, og 2,4 billioner i den største Qwen-model, cost-indekset prissætter i 2026, hvoraf omkring 95 milliarder er aktive på ét enkelt token. Arkitekturen ændrede sig ikke i sin natur på tværs af det spænd. Den blev bredere, dybere og bedre fodret. Væddemålet, denne side gør: ingen frontier-model udgivet før 2028 vil være andet end en transformer, og AI model-tidslinjen er, hvor det bliver tjekket.