Czym jest transformer AI?

Jedna praca z 2017 roku zastąpiła rekurencję uwagą

W czerwcu 2017 roku ośmiu badaczy, w większości z Google, opublikowało pracę zatytułowaną "Attention Is All You Need". Zaproponowała ona sieć do tłumaczenia zdań, która porzuciła warstwy rekurencyjne używane wtedy powszechnie i zachowała tylko jedną operację, uwagę, ułożoną w wielu warstwach. Model bazowy miał 65 milionów parametrów i pobił dotychczas najlepsze systemy tłumaczenia z angielskiego na niemiecki, trenując przy tym w ułamku czasu.

Pomysł zawarty był w tytule. Wcześniejsze sieci językowe czytały zdanie token po tokenie, niosąc naprzód bieżące podsumowanie, więc dwudzieste słowo znało pierwsze tylko przez to, co przetrwało z dziewiętnastu kroków kompresji. Transformer czyta całą sekwencję naraz. Każdy token pyta każdy inny token "jak bardzo jesteś dla mnie istotny", waży odpowiedzi i buduje z nich swoje znaczenie. Słowo "bank" odnosi się do "rzeki" albo do "konta" i za każdym razem wypada inaczej.

Dziewięć lat później ten sam projekt, mocno powiększony, odpowiada, gdy piszesz w ChatGPT. GPT oznacza generative pretrained transformer. Claude, Gemini, Llama, DeepSeek i Qwen też są transformerami, tylko etykieta zniknęła, bo nie ma już z czym porównywać.

Uwaga to ważone wyszukiwanie, a każdy token wykonuje je w każdej warstwie

Weźmy zdanie "Trofeum nie zmieściło się w walizce, bo było za duże". Aby ustalić, do czego odnosi się "było", czytelnik patrzy wstecz na "trofeum" i "walizkę" i wybiera to, które ma sens z "za duże". Uwaga to takie samo wyszukiwanie, tylko wykonane liczbami.

Każdy token zamieniany jest na trzy wektory: zapytanie (czego szukam), klucz (co oferuję) i wartość (co wnoszę, jeśli zostanę wybrany). Token "było" porównuje swoje zapytanie z kluczem każdego innego tokenu, otrzymuje wynik istotności dla każdego z nich, zamienia te wyniki na wagi sumujące się do jedności i sumuje wartości zgodnie z tymi wagami. Jego nowa reprezentacja to głównie "trofeum" z odrobiną wszystkiego innego. Model robi to równolegle dla każdego tokenu, w kilku niezależnych "głowicach", które uczą się śledzić różne zależności, i powtarza to w dziesiątkach ułożonych warstw.

Z tego wynikają wprost dwie konsekwencje. Ponieważ każdy token jest przetwarzany w tym samym kroku, cała warstwa działa jako jedno wielkie mnożenie macierzy, dokładnie do tego zbudowane jest GPU, i model bazowy z tej pracy trenował się dwanaście godzin na ośmiu GPU. A ponieważ każdy token porównuje się z każdym innym, koszt jednej warstwy rośnie z kwadratem długości sekwencji: dwa razy więcej tokenów to cztery razy więcej pracy uwagi.

Dlaczego to kwadrat trafia na twój rachunek

Ten kwadratowy koszt sprawia, że okno kontekstowe jest parametrem, o który konkurują dostawcy, i że korzystanie z niego nie jest darmowe. Model przyjmujący 1 000 000 tokenów musi wykonać uwagę na siatce wyników istotności o wymiarach milion na milion, w każdej głowicy, w każdej warstwie, a inżynieria, która czyni to opłacalnym (rzadkie wzorce, przesuwane okna, tańsze warianty uwagi i buforowanie kluczy i wartości wcześniejszych tokenów, by kolejna tura nie liczyła ich od nowa), to powód, dla którego okno na 1 000 000 tokenów jest wyceniane za token, a nie odrzucane.

W indeksie kosztów modeli AI 47 ze 100 wycenionych wierszy ma okno 1 000 000 tokenów lub większe, w porównaniu do 512 tokenów w GPT-1 i 2048 w GPT-3. Każdy z nich nadal nalicza opłatę za token wejściowy, bo każdy wysłany token to jeden wiersz w tej siatce. Dokument liczący 300 000 tokenów, do którego zadano dziesięć pytań, to 3 miliony tokenów wejściowych, a czym są tokeny w AI wycenia to na $6 w Claude Sonnet 5. Architektura tłumaczy fakturę.

Tłumaczy też tryb awarii. Transformer nie ma pamięci poza swoim oknem. To, czego nie ma w sekwencji, dla niego nie istnieje, dlatego długa rozmowa zapomina swój początek i dlatego retrieval, temat wpisu czym jest RAG, istnieje po to, by z powrotem wstawić właściwe tokeny.

Enkoder, dekoder albo oba: kształt decyduje, do czego służy model

Model z 2017 roku miał dwie połowy: enkoder, który czytał zdanie źródłowe, i dekoder, który pisał tłumaczenie. Niemal każdy model od tamtej pory zachowuje tylko jedną z połów.

Modele czatowe, których używasz, są wyłącznie dekoderami. Ten wybór, dokonany przez GPT-1 w 2018 roku i powielany przez każdy model czatowy od tamtej pory, sprawia, że model językowy generuje, zamiast wyszukiwać: cała sieć jest predyktorem kolejnego tokenu, czym jest temperatura w AI opisuje pokrętło, które wybiera token, a czym jest LLM ciągnie ten wątek aż do halucynacji i reszty. Modele tylko z enkoderem nie zniknęły. Stały się modelami osadzeń, które zamieniają tekst na wektory do wyszukiwania, czyli inną robotę, w której uwaga okazała się dobra.

Wizja poszła tą samą drogą. W 2020 roku praca o Vision Transformerze pocięła obraz na fragmenty 16 na 16 pikseli, potraktowała każdy fragment jak token i dorównała najlepszym sieciom konwolucyjnym. Dlatego ten sam model może dziś odczytać twój zrzut ekranu i twój akapit: oba docierają jako sekwencja tokenów i przechodzą przez te same warstwy uwagi. Generowanie obrazów to wyjątek; większość modeli obrazowych to modele dyfuzyjne, inna konstrukcja, którą osobno omawia czym jest generatywna AI.

Dziewięć lat od jednej pracy do każdego czołowego modelu, z datami

Poniższa oś czasu biegnie od pracy z 2017 roku do modeli, do których Whizi kieruje dziś. Pomarańczowy zaznacza wydania z otwartymi wagami, czyli sposób, w jaki projekt rozprzestrzenił się poza dwa laboratoria, które zbudowały go jako pierwsze.

Liczba parametrów pokazuje skalę w trzech liczbach: 65 milionów w modelu bazowym z 2017 roku, 175 miliardów w GPT-3 trzy lata później i 2,4 biliona w największym modelu Qwen wycenianym przez indeks kosztów w 2026 roku, z czego około 95 miliardów jest aktywnych przy pojedynczym tokenie. Architektura w tym zakresie nie zmieniła się jakościowo. Stała się szersza, głębsza i lepiej odżywiona danymi. Zakład, jaki stawia ta strona: żaden czołowy model wydany przed 2028 rokiem nie będzie niczym innym niż transformerem, a oś czasu modeli AI to miejsce, gdzie da się to zweryfikować.