Eén paper uit 2017 verving recurrentie door attention
In juni 2017 publiceerden acht onderzoekers, de meesten bij Google, een paper getiteld "Attention Is All You Need". Het stelde een netwerk voor het vertalen van zinnen voor dat de recurrente lagen die iedereen gebruikte liet vallen en alleen één bewerking behield, attention, vele malen gestapeld. Het basismodel had 65 miljoen parameters en versloeg de beste bestaande Engels-Duits vertaalsystemen terwijl het trainen een fractie van de tijd kostte.
Het idee zat in de titel. Eerdere taalnetwerken lazen een zin een token per keer, waarbij ze een lopende samenvatting meedroegen, zodat het twintigste woord alleen wist wat overleefde na negentien stappen van compressie. Een transformer leest de hele reeks tegelijk. Elk token vraagt elk ander token "hoe relevant ben jij voor mij", weegt ze en bouwt zijn betekenis op uit het antwoord. Het woord "bank" besteedt aandacht aan "rivier" of aan "rekening" en komt er elke keer anders uit.
Negen jaar later is hetzelfde ontwerp, opgeschaald, wat antwoordt wanneer je in ChatGPT typt. GPT staat voor generative pretrained transformer. Claude, Gemini, Llama, DeepSeek en Qwen zijn ook transformers, waarbij het label wegvalt omdat er niets anders is om mee te vergelijken.
Attention is een gewogen opzoeking, en elk token doet er één per laag
Neem de zin "De trofee paste niet in de koffer omdat hij te groot was." Om te bepalen wat "hij" betekent, kijkt een lezer terug naar "trofee" en "koffer" en kiest degene die past bij "te groot". Attention is die opzoeking, gedaan met getallen.
Elk token wordt omgezet in drie vectoren: een query (wat ben ik aan het zoeken), een key (wat bied ik aan) en een value (wat draag ik bij als ik gekozen word). Het token "hij" vergelijkt zijn query met de key van elk ander token, krijgt een relevantiescore per token, zet de scores om in gewichten die samen één zijn, en telt de values op met die gewichten. Zijn nieuwe representatie is grotendeels "trofee" met een beetje van al het andere. Het model doet dit parallel voor elk token, in verschillende onafhankelijke "heads" die leren om verschillende relaties te volgen, en herhaalt het in tientallen gestapelde lagen.
Twee gevolgen volgen direct. Omdat elk token in dezelfde stap wordt verwerkt, draait de hele laag als één grote matrixvermenigvuldiging, precies waar een GPU voor gebouwd is, en het basismodel uit de paper trainde in twaalf uur op acht GPU's. En omdat elk token wordt vergeleken met elk ander token, groeien de kosten van één laag met het kwadraat van de sequentielengte: twee keer zoveel tokens, vier keer zoveel attention-werk.
Waarom het kwadraat het getal is dat je rekening bereikt
Die kwadratische kost is waarom het contextvenster de specificatie is waarop aanbieders concurreren, en waarom het gebruik ervan niet gratis is. Een model dat 1.000.000 tokens accepteert, moet attention doen over een raster van relevantiescores van een miljoen bij een miljoen, in elke head, in elke laag, en de engineering die dat betaalbaar maakt (sparse patronen, sliding windows, goedkopere attention-varianten, en het cachen van eerdere tokens' keys en values zodat een vervolgbeurt ze niet opnieuw hoeft te doen) is waarom een venster van 1.000.000 tokens per token geprijsd wordt in plaats van geweigerd.
In de AI model kostenindex hebben 47 van de 100 geprijsde rijen een venster van 1.000.000 tokens of meer, opgekomen vanaf 512 tokens in GPT-1 en 2.048 in GPT-3. Elk van hen rekent nog steeds per invoertoken, omdat elk token dat je stuurt een rij in dat raster is. Een document van 300.000 tokens waaraan tien vragen gesteld worden, is 3 miljoen invoertokens, en wat zijn tokens in AI prijst dat op $6 op Claude Sonnet 5. De architectuur verklaart de rekening.
Het verklaart ook het faalscenario. Een transformer heeft geen geheugen buiten zijn venster. Wat niet in de reeks staat, bestaat niet voor hem, wat is waarom een lang gesprek zijn begin vergeet en waarom retrieval, het onderwerp van wat is RAG, bestaat om de juiste tokens terug te zetten.
Encoder, decoder of beide: de vorm bepaalt waar het model voor dient
Het model uit 2017 had twee helften: een encoder die de brontaal las en een decoder die de vertaling schreef. Bijna elk model sindsdien behoudt slechts één helft.
| Vorm | Wat het doet | Getraind om | Voorbeelden |
|---|---|---|---|
| Alleen encoder | Leest tekst en geeft er een representatie van | Gemaskeerde woorden invullen | BERT (2018), de embeddingmodellen achter zoeken |
| Alleen decoder | Schrijft tekst een token per keer | Het volgende token voorspellen | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Encoder en decoder | Leest een reeks, schrijft een andere | Vertalen of transformeren | Het originele model uit 2017, T5 |
De chatmodellen die je gebruikt zijn allemaal alleen-decoder. Die keuze, die GPT-1 in 2018 maakte en die elk chatmodel sindsdien heeft overgenomen, is waarom een taalmodel genereert in plaats van opzoekt: het hele netwerk is een voorspeller van het volgende token, wat is temperature in AI behandelt de knop die het token kiest, en wat is een LLM volgt die draad naar hallucinatie en de rest. Alleen-encodermodellen zijn niet verdwenen. Ze werden de embeddingmodellen die tekst omzetten in vectoren voor zoeken, het andere werk waar attention goed in bleek te zijn.
Vision volgde hetzelfde pad. In 2020 sneed de Vision Transformer paper een afbeelding in stukken van 16 bij 16 pixels, behandelde elk stuk als een token, en evenaarde de beste convolutionele netwerken. Dat is waarom hetzelfde model nu jouw screenshot en jouw alinea kan lezen: beide komen binnen als een reeks tokens en gaan door dezelfde attentionlagen. Beeldgeneratie is de uitzondering; de meeste beeldmodellen zijn diffusiemodellen, een ander ontwerp dat wat is generatieve AI apart behandelt.
Negen jaar van één paper tot elk frontier-model, gedateerd
De tijdlijn hieronder loopt van de paper uit 2017 tot de modellen waar Whizi vandaag naar routeert. Oranje markeert de releases die met open weights uitkwamen, hoe het ontwerp zich verspreidde voorbij de twee labs die het als eerste bouwden.
Parametertellingen vertellen het schaalverhaal in drie getallen: 65 miljoen in het basismodel uit 2017, 175 miljard in GPT-3 drie jaar later, en 2,4 biljoen in het grootste Qwen-model dat de kostenindex prijst in 2026, waarvan ongeveer 95 miljard actief zijn op elk token. De architectuur veranderde niet van aard over die reeks. Ze werd breder, dieper en beter gevoed. De weddenschap die deze pagina maakt: geen frontier-model dat voor 2028 uitkomt, zal iets anders zijn dan een transformer, en de AI-modeltijdlijn is waar dat wordt nagegaan.
- Lees "transformer" als "het ontwerp dat elk huidig tekstmodel deelt"; het zegt niets over welk model beter is
- Verwacht dat kosten en vertraging sneller dan lineair groeien met de contextlengte, en beperk lange uploads tot het deel dat je nodig hebt
- Ga ervan uit dat een model alles buiten zijn venster vergeet; herhaal belangrijke feiten of gebruik een project om ze vast te zetten
- Behandel vision en tekst als dezelfde pijplijn: een screenshot is ook tokens, dus vraag ernaar zoals je zou vragen naar een alinea
- Controleer de releasedatum voordat je vertrouwt op wat een model weet; de architectuur heeft geen klok
Veelgestelde vragen
Wat betekent transformer in AI?
Een transformer is een neurale netwerkarchitectuur uit de paper uit 2017 Attention Is All You Need. Hij verwerkt elk token van een reeks parallel met attention, een bewerking waarbij elk token zijn relevantie afweegt tegen elk ander, en het is het ontwerp binnenin GPT, Claude, Gemini, Llama, DeepSeek en Qwen. De paper zegt niet waarom die naam is gekozen.
Waar staat GPT voor?
Generative pretrained transformer. Generative omdat het tekst produceert, pretrained omdat het leert van een groot corpus voordat het wordt afgestemd op chatten, en transformer omdat dat de netwerkarchitectuur is. OpenAI introduceerde de naam met GPT-1 in juni 2018.
Wat is het attention-mechanisme?
De bewerking in het hart van een transformer. Elk token berekent een relevantiescore ten opzichte van elk ander token in de reeks, zet de scores om in gewichten, en mengt de representaties van de andere tokens volgens die gewichten. Zo leert "hij" in de ene zin "trofee" te betekenen en in de andere "koffer". Het draait parallel over alle tokens en in meerdere heads per laag.
Waarom vervingen transformers recurrente neurale netwerken?
Recurrente netwerken lazen tokens na elkaar en moesten informatie door elke stap heen doorgeven, wat zowel beperkte wat ze onthielden als hoe snel ze trainden. Transformers lezen de hele reeks tegelijk, dus ze behouden directe toegang tot elk eerder token en trainen als parallelle matrixbewerkingen die GPU's efficiënt uitvoeren. De paper uit 2017 evenaarde de beste vertaalsystemen in een fractie van de trainingstijd.
Zijn alle AI-modellen transformers?
Elk frontier-LLM is er een, en elk tekstmodel dat Whizi aanbiedt ook; de uitzonderingen zijn onderzoekslijnen zoals Mamba en hybrides zoals Jamba, waarvan geen enkele een benchmark aanvoert. Beeldgeneratoren zoals Stable Diffusion en Flux zijn diffusiemodellen, een ander ontwerp, hoewel velen intern een transformer gebruiken om de prompt te lezen. Vision-modellen die afbeeldingen lezen zijn transformers sinds de Vision Transformer paper uit 2020, die beeldstukken als tokens behandelt.
