2017 के एक पेपर ने recurrence की जगह attention को अपनाया
जून 2017 में आठ शोधकर्ताओं ने, जिनमें से ज़्यादातर Google में थे, "Attention Is All You Need" नाम का एक पेपर प्रकाशित किया। इसमें वाक्यों का अनुवाद करने के लिए एक ऐसा नेटवर्क बताया गया जिसने वो recurrent layers हटा दीं जो हर कोई इस्तेमाल करता था, और सिर्फ एक ऑपरेशन, attention, को कई बार stack करके रखा। बेस मॉडल में 65 मिलियन पैरामीटर थे और इसने पहले के सबसे अच्छे English-to-German अनुवाद सिस्टम को हरा दिया, वो भी बहुत कम समय में training करके।
यह आइडिया ही टाइटल में था। पुराने language networks एक वाक्य को एक-एक करके token पढ़ते थे, और एक चलती हुई summary आगे ले जाते थे, इसलिए बीसवां शब्द पहले शब्द के बारे में सिर्फ उतना ही जान पाता था जितना उन्नीस स्टेप की compression से बच पाया। एक transformer पूरी sequence को एक साथ पढ़ता है। हर token हर दूसरे token से पूछता है "तुम मेरे लिए कितने relevant हो", उन्हें weight देता है, और जवाब से अपना अर्थ बनाता है। शब्द "bank" कभी "river" पर ध्यान देता है तो कभी "account" पर, और हर बार अलग निकलता है।
नौ साल बाद वही डिज़ाइन, बड़े पैमाने पर, आपको तब जवाब देता है जब आप ChatGPT में कुछ टाइप करते हैं। GPT का मतलब है generative pretrained transformer। Claude, Gemini, Llama, DeepSeek और Qwen भी transformer ही हैं, बस लेबल हटा दिया गया है क्योंकि तुलना करने के लिए अब कुछ और बचा ही नहीं।
Attention एक weighted lookup है, और हर token हर layer में एक बार यह करता है
यह वाक्य लीजिए: "The trophy did not fit in the suitcase because it was too big." यह तय करने के लिए कि "it" का मतलब क्या है, एक पाठक "trophy" और "suitcase" पर वापस नज़र डालता है और वह चुनता है जो "too big" के साथ सही बैठे। Attention यही lookup है, बस संख्याओं के साथ किया गया।
हर token को तीन vectors में बदला जाता है: एक query (मैं क्या ढूंढ रहा हूं), एक key (मैं क्या देता हूं) और एक value (अगर मुझे चुना जाए तो मैं क्या योगदान देता हूं)। token "it" अपनी query की तुलना बाकी हर token की key से करता है, हर token के लिए एक relevance score पाता है, इन scores को ऐसे weights में बदलता है जिनका योग एक होता है, और फिर उन weights के हिसाब से values जोड़ देता है। इसका नया representation ज़्यादातर "trophy" होता है, साथ में बाकी सबका थोड़ा-थोड़ा हिस्सा। मॉडल यह काम हर token के लिए parallel में करता है, कई अलग-अलग "heads" में जो अलग-अलग रिश्तों को पहचानना सीखते हैं, और इसे दर्जनों stacked layers में दोहराता है।
इससे सीधे दो नतीजे निकलते हैं। चूंकि हर token एक ही स्टेप में process होता है, पूरी layer एक बड़े matrix multiplication की तरह चलती है, जो बिल्कुल वही है जिसके लिए GPU बना है, और पेपर का बेस मॉडल आठ GPU पर बारह घंटे में train हुआ। और चूंकि हर token हर दूसरे token से compare होता है, एक layer की लागत sequence length के वर्ग के साथ बढ़ती है: token दोगुने, तो attention का काम चार गुना।
वर्ग ही वह संख्या है जो आपके बिल तक पहुंचती है
यही quadratic लागत वजह है कि context window वह स्पेसिफिकेशन है जिस पर providers आपस में मुकाबला करते हैं, और इसे इस्तेमाल करना मुफ़्त क्यों नहीं है। जो मॉडल 1,000,000 tokens स्वीकार करता है, उसे हर head में, हर layer में, एक मिलियन-बाय-मिलियन relevance scores के ग्रिड पर attention करनी पड़ती है, और जो इंजीनियरिंग इसे किफ़ायती बनाती है (sparse patterns, sliding windows, सस्ते attention वेरिएंट, और पहले के tokens की keys और values को cache करना ताकि अगला turn उन्हें दोबारा न करे) वही वजह है कि 1,000,000-token विंडो को मना करने के बजाय प्रति token प्राइस किया जाता है।
AI model cost index में, 100 में से 47 priced rows की विंडो 1,000,000 tokens या उससे ज़्यादा है, जबकि GPT-1 में यह सिर्फ 512 tokens और GPT-3 में 2,048 था। इनमें से हर एक अब भी प्रति input token बिल करता है, क्योंकि आप जो भी token भेजते हैं वह उस ग्रिड की एक row बन जाता है। 300,000-token का एक document जिससे दस सवाल पूछे जाएं, वह 3 मिलियन input tokens बन जाता है, और what are tokens in AI के मुताबिक Claude Sonnet 5 पर इसकी कीमत $6 है। इनवॉइस की वजह यही architecture है।
यह असफलता का तरीका भी समझाता है। एक transformer के पास अपनी विंडो से बाहर कोई memory नहीं होती। जो चीज़ sequence में नहीं है, वह उसके लिए मौजूद ही नहीं है, यही वजह है कि लंबी बातचीत अपनी शुरुआत भूल जाती है, और यही वजह है कि retrieval, जिसके बारे में what is RAG बताता है, सही tokens को वापस लाने के लिए मौजूद है।
Encoder, decoder या दोनों: shape ही तय करता है कि मॉडल किस काम का है
2017 वाले मॉडल के दो हिस्से थे: एक encoder जो source वाक्य पढ़ता था और एक decoder जो अनुवाद लिखता था। उसके बाद लगभग हर मॉडल इनमें से सिर्फ एक हिस्सा रखता है।
| Shape | क्या करता है | किसलिए trained | उदाहरण |
|---|---|---|---|
| Encoder only | टेक्स्ट पढ़ता है और उसका representation आउटपुट करता है | masked शब्दों को भरना | BERT (2018), सर्च के पीछे वाले embedding मॉडल |
| Decoder only | टेक्स्ट को एक-एक token करके लिखता है | अगला token predict करना | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Encoder and decoder | एक sequence पढ़ता है, दूसरी लिखता है | Translate या transform करना | ओरिजिनल 2017 मॉडल, T5 |
आप जो chat मॉडल इस्तेमाल करते हैं वे सब decoder only हैं। यह चुनाव, जो GPT-1 ने 2018 में किया और उसके बाद हर chat मॉडल ने कॉपी किया, यही वजह है कि एक language मॉडल generate करता है, lookup नहीं: पूरा नेटवर्क एक next-token predictor है, what is temperature in AI उस डायल के बारे में बताता है जो token चुनती है, और what is an LLM इस धागे को hallucination और बाकी चीज़ों तक ले जाता है। Encoder-only मॉडल गायब नहीं हुए। वे embedding models बन गए जो टेक्स्ट को सर्च के लिए vectors में बदलते हैं, जो attention का दूसरा काम निकला जिसमें यह अच्छा साबित हुआ।
Vision ने भी वही रास्ता अपनाया। 2020 में Vision Transformer पेपर ने एक image को 16-बाय-16 पिक्सेल के patches में काटा, हर patch को एक token माना, और सबसे अच्छे convolutional networks जितना ही अच्छा प्रदर्शन किया। यही वजह है कि अब एक ही मॉडल आपका screenshot और आपका paragraph दोनों पढ़ सकता है: दोनों tokens की एक sequence बनकर आते हैं और एक जैसी attention layers से गुज़रते हैं। Image generation इसका अपवाद है; ज़्यादातर image मॉडल diffusion मॉडल होते हैं, एक अलग डिज़ाइन जिसे what is generative AI अलग करके समझाता है।
एक पेपर से लेकर हर frontier मॉडल तक, नौ साल, तारीखों के साथ
नीचे दी गई timeline 2017 के पेपर से लेकर आज उन मॉडलों तक जाती है जिन्हें Whizi route करता है। नारंगी रंग उन releases को दिखाता है जिन्होंने open weights जारी किए, यही तरीका था जिससे यह डिज़ाइन शुरुआती दो labs से बाहर फैला।
Parameter की गिनती इस स्केल की कहानी तीन संख्याओं में बताती है: 2017 वाले बेस मॉडल में 65 मिलियन, तीन साल बाद GPT-3 में 175 अरब, और 2026 में cost index जिस सबसे बड़े Qwen मॉडल की कीमत बताता है उसमें 2.4 ट्रिलियन, जिनमें से लगभग 95 अरब किसी भी एक token पर active होते हैं। इस पूरी रेंज में architecture अपने मूल रूप में नहीं बदला। यह बस चौड़ा, गहरा और बेहतर तरीके से feed किया गया होता गया। इस पेज का दांव यह है: 2028 से पहले जारी होने वाला कोई भी frontier मॉडल transformer के अलावा कुछ नहीं होगा, और AI model timeline पर यही जांचा जाता है।
- "transformer" को "वह डिज़ाइन जो आज का हर text मॉडल शेयर करता है" समझें; यह नहीं बताता कि कौन सा मॉडल बेहतर है
- उम्मीद रखें कि context length बढ़ने के साथ लागत और धीमापन linear से भी तेज़ी से बढ़ेगा, इसलिए लंबे uploads को सिर्फ ज़रूरी हिस्से तक सीमित रखें
- मान लें कि मॉडल अपनी विंडो से बाहर की हर बात भूल जाता है; ज़रूरी facts दोबारा बताएं या उन्हें pin करने के लिए किसी project का इस्तेमाल करें
- vision और text को एक ही pipeline मानें: एक screenshot भी tokens ही है, इसलिए उसके बारे में वैसे ही पूछें जैसे किसी paragraph के बारे में पूछते हैं
- मॉडल जो जानता है उस पर भरोसा करने से पहले उसकी release date देख लें; architecture के पास कोई घड़ी नहीं होती
अक्सर पूछे जाने वाले सवाल
AI में transformer का मतलब क्या है?
Transformer 2017 के पेपर Attention Is All You Need से आया एक neural network architecture है। यह attention का इस्तेमाल करके sequence के हर token को parallel में process करता है, यह एक ऐसा ऑपरेशन है जिसमें हर token हर दूसरे के प्रति अपनी relevance तौलता है, और यही डिज़ाइन GPT, Claude, Gemini, Llama, DeepSeek और Qwen के अंदर है। पेपर यह नहीं बताता कि यह नाम क्यों चुना गया।
GPT का मतलब क्या है?
Generative pretrained transformer। Generative इसलिए क्योंकि यह टेक्स्ट बनाता है, pretrained इसलिए क्योंकि chat के लिए tune होने से पहले यह एक बड़े corpus से सीखता है, और transformer इसलिए क्योंकि यही इसकी network architecture है। OpenAI ने यह नाम जून 2018 में GPT-1 के साथ पेश किया था।
Attention mechanism क्या है?
यह वह ऑपरेशन है जो transformer के केंद्र में है। हर token sequence के हर दूसरे token के मुकाबले एक relevance score निकालता है, इन scores को weights में बदलता है, और उन weights के हिसाब से बाकी tokens के representations को मिला देता है। इसी तरह "it" एक वाक्य में "trophy" का मतलब सीखता है और दूसरे में "suitcase" का। यह सभी tokens में parallel और हर layer में कई heads में चलता है।
Transformer ने recurrent neural networks की जगह क्यों ली?
Recurrent networks tokens को एक के बाद एक पढ़ते थे और हर स्टेप में जानकारी आगे पास करनी पड़ती थी, जिससे उनकी याददाश्त और training की स्पीड, दोनों सीमित हो जाती थीं। Transformer पूरी sequence को एक साथ पढ़ते हैं, इसलिए उनके पास हर पहले वाले token तक सीधी पहुंच रहती है और वे parallel matrix operations की तरह train होते हैं जिन्हें GPU कुशलता से चलाते हैं। 2017 के पेपर ने ट्रेनिंग के बहुत कम समय में सबसे अच्छे अनुवाद सिस्टम जितना प्रदर्शन किया।
क्या सभी AI मॉडल transformer होते हैं?
हर frontier LLM transformer है, और Whizi जो भी text मॉडल देता है वह भी। अपवाद हैं Mamba जैसी research lines और Jamba जैसे hybrids, जिनमें से कोई भी किसी benchmark में सबसे आगे नहीं है। Stable Diffusion और Flux जैसे image generators diffusion मॉडल हैं, एक अलग डिज़ाइन, हालांकि कई प्रॉम्प्ट पढ़ने के लिए अंदर एक transformer इस्तेमाल करते हैं। Images पढ़ने वाले vision मॉडल 2020 के Vision Transformer पेपर के बाद से transformer ही हैं, जो image patches को tokens की तरह मानता है।
