2017'deki tek bir makale, tekrarlamanın yerine attention'ı koydu
Haziran 2017'de, çoğu Google'da çalışan sekiz araştırmacı "Attention Is All You Need" başlıklı bir makale yayımladı. Makale, herkesin kullandığı tekrarlayan katmanları bırakan ve sadece tek bir işlemi, attention'ı, defalarca üst üste yığan bir cümle çevirme ağı öneriyordu. Temel model 65 milyon parametreye sahipti ve önceki en iyi İngilizce'den Almanca'ya çeviri sistemlerini, eğitim süresinin çok küçük bir kısmında geride bıraktı.
Fikir, başlığın kendisiydi. Önceki dil ağları bir cümleyi tek seferde bir token okuyup ilerleyen bir özet taşıyordu; böylece yirminci kelime, birinciyi ancak on dokuz sıkıştırma adımından geriye ne kaldıysa onun kadar biliyordu. Bir transformer ise tüm diziyi aynı anda okur. Her token, diğer her token'a "benimle ne kadar alakalısın" diye sorar, onları ağırlıklandırır ve anlamını bu yanıtlardan inşa eder. "Banka" kelimesi "nehir"e mi yoksa "hesap"a mı dikkat ettiğine göre her seferinde farklı çıkar.
Dokuz yıl sonra, ölçeklendirilmiş aynı tasarım, ChatGPT'ye bir şey yazdığında sana yanıt veren şeydir. GPT, generative pretrained transformer anlamına gelir. Claude, Gemini, Llama, DeepSeek ve Qwen de birer transformer'dır, sadece karşılaştıracak başka bir şey olmadığı için etiket düşürülmüştür.
Attention ağırlıklı bir arama işlemidir ve her token bunu her katmanda bir kez yapar
"Kupa bavula sığmadı çünkü çok büyüktü" cümlesini ele alalım. "O"nun neyi kastettiğine karar vermek için okuyucu geriye, "kupa"ya ve "bavul"a bakar ve "çok büyük" ile anlamlı olanı seçer. Attention, sayılarla yapılan tam olarak bu aramadır.
Her token üç vektöre dönüştürülür: bir sorgu (ne arıyorum), bir anahtar (ne sunuyorum) ve bir değer (seçilirsem neyi katıyorum). "O" token'ı sorgusunu diğer her token'ın anahtarıyla karşılaştırır, her token için bir alaka skoru alır, skorları toplamı bire eşit olan ağırlıklara çevirir ve değerleri bu ağırlıklarla toplar. Yeni temsili büyük ölçüde "kupa"dır, geri kalan her şeyden az bir miktar içerir. Model bunu her token için paralel olarak, farklı ilişkileri izlemeyi öğrenen birkaç bağımsız "kafa"da yapar ve bunu onlarca üst üste yığılmış katmanda tekrarlar.
Buradan doğrudan iki sonuç çıkar. Her token aynı adımda işlendiği için tüm katman tek büyük bir matris çarpımı olarak çalışır; bu tam olarak bir GPU'nun yapmak üzere tasarlandığı şeydir ve makalenin temel modeli sekiz GPU'da on iki saatte eğitildi. Ayrıca her token diğer her token ile karşılaştırıldığı için, bir katmanın maliyeti dizi uzunluğunun karesiyle büyür: token sayısı iki katına çıktığında, attention işi dört katına çıkar.
Kare, faturana yansıyan sayı olmasının nedeni
Bu ikinci dereceden maliyet, bağlam penceresinin sağlayıcıların yarıştığı özellik olmasının ve onu kullanmanın bedava olmamasının nedenidir. 1.000.000 token kabul eden bir model, her kafada, her katmanda milyon-çarpı-milyonluk bir alaka skoru ızgarası üzerinde attention yapmak zorundadır ve bunu uygun maliyetli hale getiren mühendislik (seyrek desenler, kayan pencereler, daha ucuz attention varyantları ve sonraki bir tur önceki token'ların anahtar ve değerlerini yeniden hesaplamasın diye bunları önbelleğe alma) 1.000.000 token'lık bir pencerenin reddedilmek yerine token başına fiyatlandırılmasının nedenidir.
Yapay zeka model maliyet indeksinde, fiyatlandırılan 100 satırın 47'si 1.000.000 token veya daha fazla pencereye sahip; bu, GPT-1'deki 512 token'dan ve GPT-3'teki 2.048'den önemli bir artış. Bunların hepsi hâlâ girdi token'ı başına ücretlendiriyor, çünkü gönderdiğin her token o ızgarada bir satırdır. 300.000 token'lık bir belgeye on soru sormak 3 milyon girdi token'ı demektir ve yapay zekada token nedir bunu Claude Sonnet 5'te $6 olarak fiyatlandırır. Mimari, faturayı açıklar.
Bu aynı zamanda hata modunu da açıklar. Bir transformer'ın penceresi dışında hiçbir belleği yoktur. Dizide olmayan şey onun için mevcut değildir; bu yüzden uzun bir konuşma başlangıcını unutur ve RAG nedir konusunun ele aldığı retrieval, doğru token'ları geri koymak için var olur.
Encoder, decoder ya da ikisi birden: şekil, modelin ne işe yaradığını belirler
2017 modelinin iki yarısı vardı: kaynak cümleyi okuyan bir encoder ve çeviriyi yazan bir decoder. O zamandan beri neredeyse her model sadece bir yarısını korudu.
| Şekil | Ne yapar | Şunun için eğitilir | Örnekler |
|---|---|---|---|
| Sadece encoder | Metni okur ve onun bir temsilini üretir | Maskelenmiş kelimeleri doldurmak | BERT (2018), aramanın arkasındaki embedding modelleri |
| Sadece decoder | Metni tek seferde bir token yazar | Sonraki token'ı tahmin etmek | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Encoder ve decoder | Bir diziyi okur, başka birini yazar | Çevirmek veya dönüştürmek | Orijinal 2017 modeli, T5 |
Kullandığın sohbet modellerinin hepsi sadece decoder'dır. GPT-1'in 2018'de yaptığı ve o zamandan beri her sohbet modelinin kopyaladığı bu tercih, bir dil modelinin arama yapmak yerine üretmesinin nedenidir: tüm ağ bir sonraki token tahmincisidir, yapay zekada sıcaklık nedir token'ı seçen kadranı ele alır ve LLM nedir bu ipliği halüsinasyona ve gerisine kadar takip eder. Sadece encoder modeller ortadan kaybolmadı. Bunlar, metni arama için vektörlere dönüştüren embedding modelleri haline geldi; bu da attention'ın iyi olduğu ortaya çıkan diğer iştir.
Görsel de aynı yolu izledi. 2020'de Vision Transformer makalesi bir görüntüyü 16'ya 16 piksellik yamalara böldü, her yamayı bir token olarak ele aldı ve en iyi evrişimli ağlarla eşleşti. Aynı modelin artık hem ekran görüntünü hem de paragrafını okuyabilmesinin nedeni budur: ikisi de bir token dizisi olarak gelir ve aynı attention katmanlarından geçer. Görüntü üretimi bir istisnadır; çoğu görüntü modeli, generative AI nedir sayfasının ayrı ele aldığı farklı bir tasarım olan diffusion modelleridir.
Bir makaleden her sınır modele dokuz yıl, tarihleriyle
Aşağıdaki zaman çizelgesi, 2017 makalesinden Whizi'nin bugün yönlendirdiği modellere kadar uzanır. Turuncu, açık ağırlıklarla yayımlanan sürümleri işaretler; bu, tasarımın onu ilk yapan iki laboratuvarın ötesine nasıl yayıldığını gösterir.
Parametre sayıları ölçek hikayesini üç sayıyla anlatır: 2017 temel modelinde 65 milyon, üç yıl sonra GPT-3'te 175 milyar ve maliyet indeksinin 2026'da fiyatlandırdığı en büyük Qwen modelinde 2,4 trilyon, bunların yaklaşık 95 milyarı herhangi bir token için aktif. Mimari bu aralıkta tür olarak değişmedi. Daha geniş, daha derin ve daha iyi beslenmiş hale geldi. Bu sayfanın öne sürdüğü iddia: 2028'den önce yayımlanacak hiçbir sınır model transformer'dan başka bir şey olmayacak ve bunun doğrulanacağı yer yapay zeka model zaman çizelgesi.
- "Transformer"ı "mevcut her metin modelinin paylaştığı tasarım" olarak oku; hangi modelin daha iyi olduğunu söylemez
- Maliyetin ve yavaşlamanın bağlam uzunluğuyla doğrusaldan daha hızlı büyümesini bekle ve uzun yüklemeleri ihtiyacın olan bölümle sınırlı tut
- Bir modelin penceresi dışındaki her şeyi unuttuğunu varsay; önemli gerçekleri yeniden belirt ya da onları sabitlemek için bir proje kullan
- Görseli ve metni aynı işlem hattı olarak ele al: bir ekran görüntüsü de token'dır, o yüzden ona bir paragrafa sorduğun gibi sor
- Bir modelin ne bildiğine güvenmeden önce yayın tarihini kontrol et; mimarinin saati yoktur
Sık sorulan sorular
Yapay zekada transformer ne demek?
Transformer, 2017 tarihli Attention Is All You Need makalesinden gelen bir sinir ağı mimarisidir. Bir dizinin her token'ını, her token'ın kendi alakasını diğer her token'a göre tarttığı attention işlemini kullanarak paralel işler ve GPT, Claude, Gemini, Llama, DeepSeek ve Qwen'in içindeki tasarımdır. Makale, ismin neden seçildiğini söylemez.
GPT ne anlama gelir?
Generative pretrained transformer. Generative, çünkü metin üretir; pretrained, çünkü sohbet için ayarlanmadan önce büyük bir korpustan öğrenir; transformer ise ağ mimarisi olduğu için. OpenAI ismi Haziran 2018'de GPT-1 ile tanıttı.
Attention mekanizması nedir?
Bir transformer'ın merkezindeki işlem. Her token, dizideki her diğer token'a karşı bir alaka skoru hesaplar, skorları ağırlıklara çevirir ve diğer token'ların temsillerini bu ağırlıklarla harmanlar. "O" kelimesinin bir cümlede "kupa", başka bir cümlede "bavul" anlamına gelmeyi öğrenmesi böyle olur. Tüm token'lar boyunca ve katman başına birkaç kafada paralel çalışır.
Transformer'lar tekrarlayan sinir ağlarının yerini neden aldı?
Tekrarlayan ağlar token'ları birbiri ardına okur ve bilgiyi her adımda ileriye taşımak zorundaydı; bu hem neyi hatırladıklarını hem de ne kadar hızlı eğitildiklerini sınırlıyordu. Transformer'lar tüm diziyi aynı anda okur, böylece her önceki token'a doğrudan erişimi korur ve GPU'ların verimli çalıştırdığı paralel matris işlemleri olarak eğitilir. 2017 makalesi, en iyi çeviri sistemleriyle eğitim süresinin çok küçük bir kısmında eşleşti.
Tüm yapay zeka modelleri transformer mı?
Her sınır LLM öyledir ve Whizi'nin sunduğu her metin modeli de öyle; istisnalar Mamba gibi araştırma hatları ve Jamba gibi hibritlerdir, hiçbiri bir kıyaslamada öne çıkmaz. Stable Diffusion ve Flux gibi görüntü üreticileri farklı bir tasarım olan diffusion modelleridir, ancak çoğu isteği okumak için içinde bir transformer kullanır. Görüntüleri okuyan görsel modeller, görüntü yamalarını token olarak ele alan 2020 tarihli Vision Transformer makalesinden beri transformer'dır.
