Apa itu transformer dalam AI?

Satu makalah tahun 2017 menggantikan rekurensi dengan attention

Pada Juni 2017, delapan peneliti, sebagian besar dari Google, menerbitkan makalah berjudul "Attention Is All You Need". Makalah ini mengusulkan jaringan untuk menerjemahkan kalimat yang membuang lapisan rekuren yang selama ini dipakai semua orang dan hanya menyisakan satu operasi, attention, yang ditumpuk berkali-kali. Model dasarnya memiliki 65 juta parameter dan mengalahkan sistem penerjemahan Inggris ke Jerman terbaik sebelumnya, sambil dilatih dalam waktu yang jauh lebih singkat.

Idenya persis seperti judulnya. Jaringan bahasa sebelumnya membaca kalimat satu token pada satu waktu, membawa ringkasan berjalan ke depan, sehingga kata kedua puluh hanya mengenal kata pertama lewat apa pun yang selamat dari sembilan belas langkah kompresi. Transformer membaca seluruh urutan sekaligus. Setiap token bertanya kepada setiap token lain "seberapa relevan kamu bagiku", memberi bobot, dan membangun maknanya dari jawaban itu. Kata "bank" memberi perhatian pada "sungai" atau pada "rekening" dan hasilnya berbeda setiap kali.

Sembilan tahun kemudian, desain yang sama, yang sudah diperbesar, adalah yang menjawab ketika Anda mengetik ke ChatGPT. GPT adalah singkatan dari generative pretrained transformer. Claude, Gemini, Llama, DeepSeek, dan Qwen juga transformer, hanya saja labelnya tidak lagi disebut karena tidak ada lagi yang bisa dibandingkan.

Attention adalah pencarian berbobot, dan setiap token melakukannya sekali per lapisan

Ambil kalimat "Piala itu tidak muat di dalam koper karena ukurannya terlalu besar." Untuk menentukan arti "nya", pembaca melihat kembali "piala" dan "koper" lalu memilih yang masuk akal dengan "terlalu besar". Attention adalah pencarian itu, dilakukan dengan angka.

Setiap token diubah menjadi tiga vektor: query (apa yang saya cari), key (apa yang saya tawarkan), dan value (apa yang saya sumbangkan jika terpilih). Token "nya" membandingkan query-nya dengan key setiap token lain, mendapat skor relevansi per token, mengubah skor itu menjadi bobot yang jumlahnya satu, dan menjumlahkan value berdasarkan bobot tersebut. Representasi barunya sebagian besar adalah "piala" dengan sedikit dari yang lain. Model melakukan ini secara paralel untuk setiap token, dalam beberapa "head" independen yang belajar melacak hubungan berbeda, dan mengulanginya di puluhan lapisan yang ditumpuk.

Dua konsekuensi langsung muncul dari sini. Karena setiap token diproses dalam langkah yang sama, seluruh lapisan berjalan sebagai satu perkalian matriks besar, yang justru adalah hal yang dibuat khusus untuk GPU, dan model dasar dalam makalah itu dilatih dalam dua belas jam dengan delapan GPU. Dan karena setiap token dibandingkan dengan setiap token lain, biaya satu lapisan bertambah sesuai kuadrat panjang urutan: dua kali lipat token, empat kali lipat kerja attention.

Alasan kuadrat itu yang sampai ke tagihan Anda

Biaya kuadratik itulah alasan context window menjadi spesifikasi yang diperlombakan oleh penyedia layanan, dan alasan menggunakannya tidak gratis. Model yang menerima 1.000.000 token harus melakukan attention pada kisi skor relevansi berukuran satu juta kali satu juta, di setiap head, di setiap lapisan, dan rekayasa yang membuatnya terjangkau (pola sparse, sliding window, varian attention yang lebih murah, dan caching key serta value dari token sebelumnya agar giliran lanjutan tidak mengulanginya) adalah alasan window 1.000.000 token dikenai biaya per token, bukan ditolak.

Dalam indeks biaya model AI, 47 dari 100 baris berharga memiliki window 1.000.000 token atau lebih, naik dari 512 token di GPT-1 dan 2.048 di GPT-3. Setiap satu darinya tetap mengenakan biaya per token input, karena setiap token yang Anda kirim adalah satu baris dalam kisi itu. Dokumen 300.000 token yang ditanya sepuluh pertanyaan berarti 3 juta token input, dan apa itu token dalam AI menghitungnya seharga $6 di Claude Sonnet 5. Arsitekturnya menjelaskan tagihannya.

Ini juga menjelaskan mode kegagalannya. Transformer tidak punya memori di luar window-nya. Apa yang tidak ada dalam urutan tidak ada sama sekali baginya, itulah sebabnya percakapan panjang melupakan awalnya dan mengapa retrieval, topik dari apa itu RAG, ada untuk mengembalikan token yang tepat.

Encoder, decoder, atau keduanya: bentuknya menentukan fungsi model

Model tahun 2017 punya dua bagian: encoder yang membaca kalimat sumber dan decoder yang menulis terjemahannya. Hampir semua model sejak itu hanya menyisakan salah satunya.

Model chat yang Anda pakai semuanya decoder saja. Pilihan itu, yang dibuat GPT-1 pada 2018 dan ditiru semua model chat sejak itu, adalah alasan model bahasa menghasilkan, bukan mencari: seluruh jaringannya adalah predictor token berikutnya, apa itu temperature dalam AI membahas tombol yang memilih tokennya, dan apa itu LLM melanjutkan benang itu ke halusinasi dan lainnya. Model encoder saja tidak menghilang. Mereka menjadi model embedding yang mengubah teks menjadi vektor untuk pencarian, pekerjaan lain yang ternyata dikuasai attention.

Vision mengikuti jalur yang sama. Pada 2020, makalah Vision Transformer memotong gambar menjadi patch piksel 16 kali 16, memperlakukan setiap patch sebagai token, dan menyamai jaringan konvolusional terbaik. Itulah sebabnya model yang sama kini bisa membaca tangkapan layar Anda sekaligus paragraf Anda: keduanya datang sebagai urutan token dan melewati lapisan attention yang sama. Pembuatan gambar adalah pengecualian, sebagian besar model gambar adalah model diffusion, desain berbeda yang dipisahkan oleh apa itu generative AI.

Sembilan tahun dari satu makalah ke setiap model terdepan, bertanggal

Garis waktu di bawah ini berjalan dari makalah 2017 hingga model yang dirutekan Whizi hari ini. Warna oranye menandai rilis yang membagikan open weights, cara desain ini menyebar melampaui dua lab yang pertama kali membangunnya.

Jumlah parameter menceritakan skala dalam tiga angka: 65 juta pada model dasar 2017, 175 miliar pada GPT-3 tiga tahun kemudian, dan 2,4 triliun pada model Qwen terbesar yang diberi harga oleh indeks biaya pada 2026, dengan sekitar 95 miliar aktif pada satu token mana pun. Arsitekturnya tidak berubah jenis sepanjang rentang itu. Ia hanya menjadi lebih lebar, lebih dalam, dan diberi data lebih banyak. Taruhan halaman ini: tidak ada model terdepan yang dirilis sebelum 2028 yang bukan transformer, dan garis waktu model AI adalah tempat itu diperiksa.