Apa itu transformer dalam AI?

Satu kertas kajian 2017 menggantikan recurrence dengan attention

Pada Jun 2017, lapan penyelidik, kebanyakannya di Google, menerbitkan kertas kajian bertajuk "Attention Is All You Need". Ia mencadangkan rangkaian untuk menterjemah ayat yang membuang lapisan recurrent yang digunakan semua orang dan hanya mengekalkan satu operasi, attention, yang ditindan berkali-kali. Model asas itu mempunyai 65 juta parameter dan mengatasi sistem terjemahan Inggeris ke Jerman terbaik sebelum ini sambil dilatih dalam sebahagian kecil daripada masa yang diambil.

Idea itu terletak pada tajuknya. Rangkaian bahasa terdahulu membaca ayat satu token pada satu masa, membawa ringkasan berjalan ke hadapan, jadi perkataan kedua puluh hanya mengetahui perkataan pertama melalui apa sahaja yang terselamat daripada sembilan belas langkah pemampatan. Transformer membaca keseluruhan jujukan sekali gus. Setiap token bertanya kepada setiap token lain "sejauh mana kamu relevan dengan saya", memberi pemberat kepada mereka, dan membina maknanya daripada jawapan itu. Perkataan "bank" memberi perhatian kepada "sungai" atau kepada "akaun" dan keluar berbeza setiap kali.

Sembilan tahun kemudian, reka bentuk yang sama, dibesarkan skalanya, adalah apa yang menjawab apabila anda menaip ke dalam ChatGPT. GPT bermaksud generative pretrained transformer. Claude, Gemini, Llama, DeepSeek dan Qwen juga transformer, dengan label itu digugurkan kerana tiada apa lagi untuk dibandingkan.

Attention ialah carian berpemberat, dan setiap token melakukannya sekali setiap lapisan

Ambil ayat "The trophy did not fit in the suitcase because it was too big." Untuk memutuskan apa maksud "it", pembaca melihat semula "trophy" dan "suitcase" dan memilih yang masuk akal dengan "too big". Attention ialah carian itu, dilakukan dengan nombor.

Setiap token ditukar menjadi tiga vektor: query (apa yang saya cari), key (apa yang saya tawarkan) dan value (apa yang saya sumbangkan jika dipilih). Token "it" membandingkan query-nya dengan key setiap token lain, mendapat skor relevan bagi setiap token, menukar skor itu kepada pemberat yang berjumlah satu, dan menjumlahkan value mengikut pemberat tersebut. Perwakilan barunya kebanyakannya "trophy" dengan sedikit daripada segala-galanya yang lain. Model melakukan ini secara selari untuk setiap token, dalam beberapa "head" bebas yang belajar mengesan hubungan berbeza, dan mengulanginya dalam berpuluh-puluh lapisan bertindan.

Dua akibat terus mengikut. Kerana setiap token diproses dalam langkah yang sama, keseluruhan lapisan berjalan sebagai satu pendaraban matriks besar, iaitu tepat apa yang direka untuk GPU, dan model asas kertas kajian itu dilatih dalam dua belas jam pada lapan GPU. Dan kerana setiap token dibandingkan dengan setiap token lain, kos satu lapisan meningkat mengikut kuasa dua panjang jujukan: dua kali ganda token, empat kali ganda kerja attention.

Mengapa kuasa dua itu nombor yang sampai ke bil anda

Kos kuasa dua itulah sebab tetingkap konteks menjadi spesifikasi yang dipertandingkan oleh penyedia, dan mengapa menggunakannya tidak percuma. Model yang menerima 1,000,000 token perlu melakukan attention ke atas grid skor relevan sejuta darab sejuta, dalam setiap head, dalam setiap lapisan, dan kejuruteraan yang menjadikannya mampu milik (corak jarang, tetingkap gelongsor, varian attention yang lebih murah, dan cache key serta value token terdahulu supaya giliran susulan tidak mengulanginya) adalah sebab tetingkap 1,000,000 token dikenakan bayaran mengikut token dan bukannya ditolak.

Dalam indeks kos model AI, 47 daripada 100 baris berharga membawa tetingkap 1,000,000 token atau lebih, meningkat daripada 512 token dalam GPT-1 dan 2,048 dalam GPT-3. Setiap satunya masih mengenakan bayaran setiap token input, kerana setiap token yang anda hantar adalah satu baris dalam grid itu. Dokumen 300,000 token yang ditanya sepuluh soalan ialah 3 juta token input, dan apa itu token dalam AI mengharga itu pada $6 di Claude Sonnet 5. Seni bina itu menjelaskan invois.

Ia juga menjelaskan mod kegagalan. Transformer tiada ingatan di luar tetingkapnya. Apa yang tiada dalam jujukan tidak wujud baginya, sebab itulah perbualan panjang melupakan permulaannya dan mengapa retrieval, subjek apa itu RAG, wujud untuk meletakkan semula token yang betul.

Encoder, decoder atau kedua-duanya: bentuknya menentukan kegunaan model

Model 2017 itu mempunyai dua bahagian: encoder yang membaca ayat sumber dan decoder yang menulis terjemahan. Hampir setiap model sejak itu hanya mengekalkan satu bahagian.

Model sembang yang anda gunakan semuanya decoder sahaja. Pilihan itu, yang dibuat oleh GPT-1 pada 2018 dan disalin oleh setiap model sembang sejak itu, adalah sebab model bahasa menjana dan bukannya mencari: keseluruhan rangkaian ialah peramal token seterusnya, apa itu temperature dalam AI membincangkan alat yang memilih token itu, dan apa itu LLM mengikuti benang itu kepada halusinasi dan selebihnya. Model encoder sahaja tidak hilang. Ia menjadi model embedding yang menukar teks kepada vektor untuk carian, satu lagi kerja yang didapati sesuai oleh attention.

Penglihatan mengikut laluan yang sama. Pada 2020, kertas kajian Vision Transformer memotong imej kepada tampalan piksel 16 kali 16, memperlakukan setiap tampalan sebagai token, dan menandingi rangkaian konvolusi terbaik. Itulah sebab model yang sama kini boleh membaca tangkapan skrin dan perenggan anda: kedua-duanya tiba sebagai jujukan token dan melalui lapisan attention yang sama. Penjanaan imej adalah pengecualian; kebanyakan model imej ialah model diffusion, reka bentuk berbeza yang diasingkan oleh apa itu AI generatif.

Sembilan tahun daripada satu kertas kajian kepada setiap model frontier, bertarikh

Garis masa di bawah bermula daripada kertas kajian 2017 hingga model yang dilalui Whizi hari ini. Warna oren menandakan pelepasan yang menghantar berat terbuka, iaitu bagaimana reka bentuk itu tersebar melebihi dua makmal yang membinanya dahulu.

Bilangan parameter menceritakan kisah skala dalam tiga nombor: 65 juta dalam model asas 2017, 175 bilion dalam GPT-3 tiga tahun kemudian, dan 2.4 trilion dalam model Qwen terbesar yang dihargakan indeks kos pada 2026, di mana kira-kira 95 bilion aktif pada mana-mana satu token. Seni bina itu tidak berubah dari segi jenis merentasi julat itu. Ia menjadi lebih luas, lebih dalam dan lebih diberi makan. Taruhan yang dibuat halaman ini: tiada model frontier yang dikeluarkan sebelum 2028 akan menjadi apa-apa selain transformer, dan garis masa model AI adalah tempat itu disemak.