O lucrare din 2017 a înlocuit recurența cu atenția
În iunie 2017, opt cercetători, majoritatea la Google, au publicat o lucrare intitulată "Attention Is All You Need". Aceasta propunea o rețea pentru traducerea propozițiilor care renunța la straturile recurente folosite de toată lumea și păstra o singură operație, atenția, stivuită de mai multe ori. Modelul de bază avea 65 de milioane de parametri și depășea cele mai bune sisteme anterioare de traducere engleză-germană, antrenându-se într-o fracțiune din timp.
Ideea era chiar în titlu. Rețelele de limbaj anterioare citeau o propoziție câte un token o dată, purtând înainte un rezumat continuu, astfel încât al douăzecilea cuvânt cunoștea doar ce supraviețuia din primele nouăsprezece etape de compresie. Un transformer citește întreaga secvență deodată. Fiecare token întreabă fiecare alt token "cât de relevant ești pentru mine", le ponderează și își construiește sensul din răspuns. Cuvântul "bancă" acordă atenție fie lui "râu", fie lui "cont" și iese diferit de fiecare dată.
Nouă ani mai târziu, aceeași arhitectură, scalată, este cea care răspunde când scrii în ChatGPT. GPT înseamnă generative pretrained transformer. Claude, Gemini, Llama, DeepSeek și Qwen sunt tot transformere, doar că eticheta a dispărut pentru că nu mai există nimic cu care să fie comparate.
Atenția este o căutare ponderată, iar fiecare token face una pe strat
Ia propoziția "Trofeul nu a încăput în valiză pentru că era prea mare." Pentru a decide ce înseamnă "era", un cititor privește înapoi la "trofeul" și "valiză" și îl alege pe cel care are sens cu "prea mare". Atenția este exact această căutare, făcută cu numere.
Fiecare token este transformat în trei vectori: o interogare (ce caut), o cheie (ce ofer) și o valoare (ce contribui dacă sunt ales). Tokenul "era" compară interogarea sa cu cheia fiecărui alt token, obține un scor de relevanță per token, transformă scorurile în ponderi care însumează unu și adună valorile după acele ponderi. Noua sa reprezentare este în cea mai mare parte "trofeul", cu puțin din tot restul. Modelul face asta în paralel pentru fiecare token, în mai multe "capete" independente care învață să urmărească relații diferite, și repetă în zeci de straturi stivuite.
Două consecințe rezultă direct. Pentru că fiecare token este procesat în același pas, tot stratul rulează ca o singură înmulțire matricială mare, exact ceea ce este construit un GPU să facă, iar modelul de bază din lucrare s-a antrenat în douăsprezece ore pe opt GPU-uri. Și pentru că fiecare token se compară cu fiecare alt token, costul unui strat crește cu pătratul lungimii secvenței: de două ori mai mulți tokeni, de patru ori mai multă muncă de atenție.
De ce pătratul este numărul care ajunge pe factura ta
Acest cost pătratic este motivul pentru care fereastra de context este specificația pe care concurează furnizorii și de ce folosirea ei nu este gratuită. Un model care acceptă 1.000.000 de tokeni trebuie să facă atenție peste o grilă de un milion pe un milion de scoruri de relevanță, în fiecare cap, în fiecare strat, iar ingineria care face asta accesibil (tipare rare, ferestre glisante, variante de atenție mai ieftine și memorarea cheilor și valorilor tokenurilor anterioare astfel încât o replică ulterioară să nu le refacă) este motivul pentru care o fereastră de 1.000.000 de tokeni este taxată per token, nu refuzată.
În indexul de costuri al modelelor AI, 47 din cele 100 de rânduri cu preț au o fereastră de 1.000.000 de tokeni sau mai mult, față de 512 tokeni în GPT-1 și 2.048 în GPT-3. Fiecare dintre ele tot facturează per token de intrare, pentru că fiecare token trimis este un rând în acea grilă. Un document de 300.000 de tokeni căruia i se pun zece întrebări înseamnă 3 milioane de tokeni de intrare, iar ce sunt tokenii în AI prețuiește asta la $6 pe Claude Sonnet 5. Arhitectura explică factura.
Explică și modul de eșec. Un transformer nu are memorie în afara ferestrei sale. Ce nu se află în secvență nu există pentru el, motiv pentru care o conversație lungă uită începutul și de ce recuperarea, subiectul ce este RAG, există pentru a pune la loc tokenii potriviți.
Encoder, decoder sau ambele: forma decide la ce servește modelul
Modelul din 2017 avea două jumătăți: un encoder care citea propoziția sursă și un decoder care scria traducerea. Aproape fiecare model de atunci păstrează doar o jumătate.
| Formă | Ce face | Antrenat să | Exemple |
|---|---|---|---|
| Doar encoder | Citește textul și produce o reprezentare a lui | Completeze cuvinte mascate | BERT (2018), modelele de embedding din spatele căutării |
| Doar decoder | Scrie text un token o dată | Prezică următorul token | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Encoder și decoder | Citește o secvență, scrie alta | Traducă sau transforme | Modelul original din 2017, T5 |
Modelele de chat pe care le folosești sunt toate doar decoder. Această alegere, făcută de GPT-1 în 2018 și copiată de fiecare model de chat de atunci, este motivul pentru care un model de limbaj generează în loc să caute: întreaga rețea este un predictor al următorului token, ce este temperatura în AI acoperă cadranul care alege tokenul, iar ce este un LLM urmărește acel fir până la halucinație și restul. Modelele doar-encoder nu au dispărut. Au devenit modelele de embedding care transformă textul în vectori pentru căutare, cealaltă meserie la care atenția s-a dovedit a fi bună.
Viziunea a urmat aceeași cale. În 2020, lucrarea Vision Transformer a tăiat o imagine în porțiuni de 16 pe 16 pixeli, a tratat fiecare porțiune ca pe un token și a egalat cele mai bune rețele convoluționale. De aceea același model îți poate citi acum și captura de ecran, și paragraful: ambele sosesc ca o secvență de tokeni și trec prin aceleași straturi de atenție. Generarea de imagini este excepția; majoritatea modelelor de imagine sunt modele de difuzie, o arhitectură diferită pe care ce este AI generativă o separă.
Nouă ani de la o lucrare la fiecare model de vârf, cu date
Cronologia de mai jos merge de la lucrarea din 2017 la modelele către care Whizi rutează astăzi. Portocaliu marchează lansările care au avut greutăți deschise, modul în care arhitectura s-a răspândit dincolo de cele două laboratoare care au construit-o prima dată.
Numărul de parametri spune povestea scalei în trei numere: 65 de milioane în modelul de bază din 2017, 175 de miliarde în GPT-3 trei ani mai târziu și 2,4 trilioane în cel mai mare model Qwen prețuit de indexul de costuri în 2026, dintre care aproximativ 95 de miliarde sunt activi pe orice token. Arhitectura nu s-a schimbat ca natură pe acest interval. A devenit mai lată, mai adâncă și mai bine hrănită. Pariul acestei pagini: niciun model de vârf lansat înainte de 2028 nu va fi altceva decât un transformer, iar cronologia modelelor AI este locul unde asta se verifică.
- Citește "transformer" ca "arhitectura pe care o împart toate modelele de text actuale"; nu îți spune care model e mai bun
- Așteaptă-te ca și costul, și încetinirea să crească mai repede decât liniar cu lungimea contextului, și păstrează încărcările lungi doar în secțiunea de care ai nevoie
- Presupune că un model uită tot ce e în afara ferestrei sale; repetă faptele importante sau folosește un proiect pentru a le fixa
- Tratează viziunea și textul ca pe același flux: o captură de ecran este tot tokeni, deci întreab-o despre ea cum ai întreba despre un paragraf
- Verifică data lansării înainte să ai încredere în ce știe un model; arhitectura nu are ceas
Întrebări frecvente
Ce înseamnă transformer în AI?
Un transformer este o arhitectură de rețea neuronală din lucrarea din 2017 Attention Is All You Need. Procesează fiecare token al unei secvențe în paralel folosind atenția, o operație în care fiecare token își cântărește relevanța față de fiecare altul, și este arhitectura din interiorul GPT, Claude, Gemini, Llama, DeepSeek și Qwen. Lucrarea nu spune de ce a fost ales acest nume.
Ce înseamnă GPT?
Generative pretrained transformer. Generative pentru că produce text, pretrained pentru că învață dintr-un corpus mare înainte de a fi reglat pentru chat, și transformer pentru că aceasta e arhitectura de rețea. OpenAI a introdus numele odată cu GPT-1 în iunie 2018.
Ce este mecanismul de atenție?
Operația din centrul unui transformer. Fiecare token calculează un scor de relevanță față de fiecare alt token din secvență, transformă scorurile în ponderi și amestecă reprezentările celorlalte tokenuri după acele ponderi. Așa învață "era" să însemne "trofeul" într-o propoziție și "valiza" în alta. Rulează în paralel pentru toți tokenii și în mai multe capete per strat.
De ce au înlocuit transformerele rețelele neuronale recurente?
Rețelele recurente citeau tokenii unul după altul și trebuiau să transmită informația înainte prin fiecare pas, ceea ce limita atât ce rețineau, cât și cât de repede se antrenau. Transformerele citesc întreaga secvență deodată, deci păstrează acces direct la fiecare token anterior și se antrenează ca operații matriciale paralele pe care GPU-urile le rulează eficient. Lucrarea din 2017 a egalat cele mai bune sisteme de traducere într-o fracțiune din timpul de antrenare.
Toate modelele AI sunt transformere?
Fiecare LLM de vârf este, la fel și fiecare model de text oferit de Whizi; excepțiile sunt liniile de cercetare precum Mamba și hibrizii precum Jamba, dintre care niciunul nu conduce vreun benchmark. Generatoarele de imagini precum Stable Diffusion și Flux sunt modele de difuzie, o arhitectură diferită, deși multe folosesc un transformer în interior pentru a citi promptul. Modelele de viziune care citesc imagini sunt transformere de la lucrarea Vision Transformer din 2020, care tratează porțiunile de imagine ca pe tokeni.
