Un articolo del 2017 ha sostituito la ricorrenza con l'attention
Nel giugno 2017 otto ricercatori, la maggior parte in Google, pubblicarono un articolo intitolato "Attention Is All You Need". Proponeva una rete per tradurre frasi che eliminava gli strati ricorrenti usati da tutti e manteneva un'unica operazione, l'attention, impilata più volte. Il modello base aveva 65 milioni di parametri e superava i migliori sistemi di traduzione inglese-tedesco precedenti addestrandosi in una frazione del tempo.
L'idea era nel titolo. Le reti linguistiche precedenti leggevano una frase un token alla volta, portando avanti un riassunto in corso, così la ventesima parola conosceva solo ciò che era sopravvissuto a diciannove passaggi di compressione. Un transformer legge l'intera sequenza in un colpo solo. Ogni token chiede a ogni altro token "quanto sei rilevante per me", li pesa e costruisce il proprio significato dalla risposta. La parola "banca" presta attenzione a "fiume" o a "conto" e risulta diversa ogni volta.
Nove anni dopo, lo stesso design, portato su larga scala, è ciò che risponde quando scrivi su ChatGPT. GPT sta per generative pretrained transformer. Anche Claude, Gemini, Llama, DeepSeek e Qwen sono transformer, con l'etichetta ormai omessa perché non c'è più nulla con cui confrontarli.
L'attention è una ricerca pesata, e ogni token ne fa una per strato
Prendi la frase "Il trofeo non entrava nella valigia perché era troppo grande." Per capire cosa significhi "era", chi legge torna a "trofeo" e "valigia" e sceglie quello che ha senso con "troppo grande". L'attention è proprio quella ricerca, fatta con i numeri.
Ogni token viene trasformato in tre vettori: una query (cosa sto cercando), una key (cosa offro) e un value (cosa contribuisco se scelto). Il token "era" confronta la propria query con la key di ogni altro token, ottiene un punteggio di rilevanza per token, trasforma i punteggi in pesi che sommano a uno e somma i value in base a quei pesi. La sua nuova rappresentazione è per lo più "trofeo" con un po' di tutto il resto. Il modello lo fa in parallelo per ogni token, in diverse "teste" indipendenti che imparano a tracciare relazioni diverse, e lo ripete in decine di strati impilati.
Ne derivano direttamente due conseguenze. Poiché ogni token viene elaborato nello stesso passaggio, l'intero strato viene eseguito come un'unica grande moltiplicazione di matrici, esattamente ciò per cui una GPU è costruita, e il modello base dell'articolo si è addestrato in dodici ore su otto GPU. E poiché ogni token si confronta con ogni altro, il costo di uno strato cresce con il quadrato della lunghezza della sequenza: il doppio dei token, quattro volte il lavoro di attention.
Perché il quadrato è il numero che arriva sulla tua fattura
Quel costo quadratico è il motivo per cui la finestra di contesto è la specifica su cui competono i fornitori, e perché usarla non è gratis. Un modello che accetta 1.000.000 di token deve calcolare l'attention su una griglia di punteggi di rilevanza di un milione per un milione, in ogni testa, in ogni strato, e l'ingegneria che rende questo economicamente sostenibile (pattern sparsi, finestre scorrevoli, varianti di attention più economiche e la cache delle key e dei value dei token precedenti così un turno successivo non deve rifarli) è il motivo per cui una finestra da 1.000.000 di token viene fatturata per token anziché rifiutata.
Nell'indice dei costi dei modelli IA, 47 delle 100 righe con prezzo hanno una finestra di 1.000.000 di token o più, contro i 512 token di GPT-1 e i 2.048 di GPT-3. Ognuno di essi fa comunque pagare per token in ingresso, perché ogni token che invii è una riga in quella griglia. Un documento di 300.000 token a cui vengono poste dieci domande equivale a 3 milioni di token in ingresso, e cosa sono i token nell'IA prezza questo a $6 su Claude Sonnet 5. L'architettura spiega la fattura.
Spiega anche la modalità di fallimento. Un transformer non ha memoria al di fuori della sua finestra. Ciò che non è nella sequenza non esiste per lui, ed è per questo che una conversazione lunga dimentica il suo inizio e perché il retrieval, l'argomento di cos'è il RAG, esiste per rimettere dentro i token giusti.
Encoder, decoder o entrambi: la forma decide a cosa serve il modello
Il modello del 2017 aveva due metà: un encoder che leggeva la frase di partenza e un decoder che scriveva la traduzione. Quasi ogni modello successivo mantiene solo una delle due metà.
| Forma | Cosa fa | Addestrato a | Esempi |
|---|---|---|---|
| Solo encoder | Legge il testo e ne produce una rappresentazione | Riempire parole mascherate | BERT (2018), i modelli di embedding dietro la ricerca |
| Solo decoder | Scrive testo un token alla volta | Prevedere il token successivo | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Encoder e decoder | Legge una sequenza, ne scrive un'altra | Tradurre o trasformare | Il modello originale del 2017, T5 |
I modelli di chat che usi sono tutti solo decoder. Questa scelta, fatta da GPT-1 nel 2018 e copiata da ogni modello di chat da allora, è il motivo per cui un modello linguistico genera invece di cercare: l'intera rete è un predittore del token successivo, cos'è la temperature nell'IA copre la manopola che sceglie il token, e cos'è un LLM segue quel filo fino all'allucinazione e al resto. I modelli solo encoder non sono scomparsi. Sono diventati gli embedding che trasformano il testo in vettori per la ricerca, l'altro compito in cui l'attention si è rivelata brava.
La visione ha seguito lo stesso percorso. Nel 2020 l'articolo sul Vision Transformer ha tagliato un'immagine in patch di 16 per 16 pixel, trattato ogni patch come un token, e uguagliato le migliori reti convoluzionali. Ecco perché lo stesso modello può ora leggere il tuo screenshot e il tuo paragrafo: entrambi arrivano come una sequenza di token e passano attraverso gli stessi strati di attention. La generazione di immagini è l'eccezione; la maggior parte dei modelli di immagini sono modelli di diffusione, un design diverso che cos'è la IA generativa separa a parte.
Nove anni da un articolo a ogni modello di frontiera, in ordine cronologico
La cronologia qui sotto va dall'articolo del 2017 ai modelli a cui Whizi indirizza oggi. L'arancione segna le uscite che hanno rilasciato i pesi aperti, il modo in cui il design si è diffuso oltre i due laboratori che lo hanno costruito per primi.
Il numero di parametri racconta la storia della scala in tre numeri: 65 milioni nel modello base del 2017, 175 miliardi in GPT-3 tre anni dopo, e 2,4 migliaia di miliardi nel più grande modello Qwen che l'indice dei costi prezza nel 2026, di cui circa 95 miliardi attivi su un singolo token. L'architettura non è cambiata nella sostanza in tutto quell'intervallo. È diventata più larga, più profonda e meglio alimentata. La scommessa di questa pagina: nessun modello di frontiera rilasciato prima del 2028 sarà altro che un transformer, e la cronologia dei modelli IA è dove questo viene verificato.
- Leggi "transformer" come "il design che ogni modello testuale attuale condivide"; non ti dice quale modello sia migliore
- Aspettati che il costo e i rallentamenti crescano più che linearmente con la lunghezza del contesto, e limita i caricamenti lunghi alla sezione che ti serve
- Presupponi che un modello dimentichi tutto ciò che è fuori dalla sua finestra; ripeti i fatti importanti o usa un progetto per fissarli
- Tratta visione e testo come la stessa pipeline: anche uno screenshot sono token, quindi fai domande su di esso come faresti su un paragrafo
- Controlla la data di rilascio prima di fidarti di ciò che un modello sa; l'architettura non ha un orologio
Domande frequenti
Cosa significa transformer nell'IA?
Un transformer è un'architettura di rete neurale dell'articolo del 2017 Attention Is All You Need. Elabora ogni token di una sequenza in parallelo tramite l'attention, un'operazione in cui ogni token pesa la propria rilevanza rispetto a ogni altro, ed è il design alla base di GPT, Claude, Gemini, Llama, DeepSeek e Qwen. L'articolo non spiega perché sia stato scelto quel nome.
Cosa significa GPT?
Generative pretrained transformer. Generative perché produce testo, pretrained perché apprende da un grande corpus prima di essere ottimizzato per la chat, e transformer perché quella è l'architettura di rete. OpenAI ha introdotto il nome con GPT-1 nel giugno 2018.
Cos'è il meccanismo di attention?
L'operazione al centro di un transformer. Ogni token calcola un punteggio di rilevanza rispetto a ogni altro token della sequenza, converte i punteggi in pesi e mescola le rappresentazioni degli altri token secondo quei pesi. È così che "era" impara a significare "trofeo" in una frase e "valigia" in un'altra. Viene eseguito in parallelo su tutti i token e in diverse teste per strato.
Perché i transformer hanno sostituito le reti neurali ricorrenti?
Le reti ricorrenti leggevano i token uno dopo l'altro e dovevano passare l'informazione in avanti a ogni passaggio, il che limitava sia quanto ricordavano sia quanto velocemente si addestravano. I transformer leggono l'intera sequenza in un colpo solo, quindi mantengono accesso diretto a ogni token precedente e si addestrano come operazioni matriciali parallele che le GPU eseguono in modo efficiente. L'articolo del 2017 ha eguagliato i migliori sistemi di traduzione in una frazione del tempo di addestramento.
Tutti i modelli IA sono transformer?
Ogni LLM di frontiera lo è, e così ogni modello testuale offerto da Whizi; le eccezioni sono linee di ricerca come Mamba e ibridi come Jamba, nessuno dei quali guida un benchmark. I generatori di immagini come Stable Diffusion e Flux sono modelli di diffusione, un design diverso, anche se molti usano un transformer al proprio interno per leggere il prompt. I modelli di visione che leggono le immagini sono transformer dall'articolo sul Vision Transformer del 2020, che tratta le patch dell'immagine come token.
