2017 کے ایک مقالے نے recurrence کی جگہ attention کو لے لیا
جون 2017 میں، آٹھ محققین جن میں سے زیادہ تر Google میں تھے نے ایک مقالہ شائع کیا جس کا عنوان تھا "Attention Is All You Need"۔ اس میں جملوں کے ترجمے کے لیے ایک ایسا نیٹ ورک تجویز کیا گیا جس نے وہ recurrent layers ختم کر دیں جو سب استعمال کر رہے تھے، اور صرف ایک عمل، attention، کو کئی بار اسٹیک کر کے رکھا۔ بنیادی ماڈل میں 65 ملین پیرامیٹرز تھے اور اس نے انگریزی سے جرمن ترجمے کے پہلے سے موجود بہترین نظاموں کو، تربیت میں بہت کم وقت لے کر، پیچھے چھوڑ دیا۔
خیال عنوان میں ہی تھا۔ پہلے کے لینگویج نیٹ ورکس ایک وقت میں ایک token پڑھتے تھے، ایک جاری خلاصہ آگے لے جاتے ہوئے، اس لیے بیسویں لفظ کو صرف اتنا معلوم ہوتا تھا جو پہلے سے لے کر انیس مراحل کی کمپریشن میں بچ جائے۔ ایک ٹرانسفارمر پوری سیکوئنس کو ایک ساتھ پڑھتا ہے۔ ہر token ہر دوسرے token سے پوچھتا ہے "تم میرے لیے کتنے متعلقہ ہو"، انہیں وزن دیتا ہے، اور جواب سے اپنا مفہوم تعمیر کرتا ہے۔ لفظ "bank" کبھی "river" پر توجہ دیتا ہے تو کبھی "account" پر، اور ہر بار مختلف نکلتا ہے۔
نو سال بعد، وہی ڈیزائن، بڑے پیمانے پر، وہی ہے جو جواب دیتا ہے جب آپ ChatGPT میں کچھ لکھتے ہیں۔ GPT کا مطلب generative pretrained transformer ہے۔ Claude، Gemini، Llama، DeepSeek اور Qwen بھی ٹرانسفارمر ہی ہیں، بس یہ لیبل اب استعمال نہیں ہوتا کیونکہ موازنے کے لیے کچھ اور بچا ہی نہیں۔
Attention ایک وزنی lookup ہے، اور ہر token اسے فی لیئر ایک بار کرتا ہے
یہ جملہ لیں: "The trophy did not fit in the suitcase because it was too big." یہ سمجھنے کے لیے کہ "it" کا مطلب کیا ہے، ایک قاری "trophy" اور "suitcase" کو دیکھتا ہے اور وہ چنتا ہے جو "too big" کے ساتھ معنی رکھتا ہو۔ Attention یہی lookup ہے، بس اعداد کے ساتھ کیا گیا۔
ہر token کو تین ویکٹرز میں تبدیل کیا جاتا ہے: ایک query (میں کیا ڈھونڈ رہا ہوں)، ایک key (میں کیا پیش کرتا ہوں) اور ایک value (اگر مجھے چنا جائے تو میں کیا حصہ ڈالوں گا)۔ token "it" اپنی query کا ہر دوسرے token کی key سے موازنہ کرتا ہے، فی token ایک relevance score حاصل کرتا ہے، ان اسکورز کو ایسے وزن میں بدلتا ہے جن کا مجموعہ ایک بنتا ہے، اور انہی وزن کے مطابق values کو جمع کرتا ہے۔ اس کی نئی نمائندگی زیادہ تر "trophy" ہوتی ہے، ساتھ باقی سب کا تھوڑا حصہ۔ ماڈل یہ کام ہر token کے لیے متوازی طور پر کرتا ہے، کئی آزاد "heads" میں جو مختلف تعلقات کو سمجھنا سیکھتے ہیں، اور اسے درجنوں اسٹیک شدہ layers میں دہراتا ہے۔
اس سے دو نتائج براہِ راست نکلتے ہیں۔ چونکہ ہر token ایک ہی مرحلے میں پروسیس ہوتا ہے، پوری layer ایک بڑی میٹرکس ضرب کے طور پر چلتی ہے، جو بالکل وہی کام ہے جس کے لیے GPU بنایا گیا ہے، اور مقالے کا بنیادی ماڈل آٹھ GPUs پر بارہ گھنٹوں میں تربیت پا گیا۔ اور چونکہ ہر token ہر دوسرے سے موازنہ کرتا ہے، ایک layer کی لاگت sequence length کے مربع کے ساتھ بڑھتی ہے: دگنے tokens، چار گنا attention کا کام۔
مربع وہ عدد ہے جو آپ کے بل تک پہنچتا ہے
یہی quadratic لاگت وجہ ہے کہ context window وہ خصوصیت ہے جس پر providers مقابلہ کرتے ہیں، اور اسے استعمال کرنا مفت نہیں ہے۔ ایک ماڈل جو 1,000,000 tokens قبول کرتا ہے اسے ہر head میں، ہر layer میں، ایک ملین بائے ملین relevance scores کے گرڈ پر attention کرنی پڑتی ہے، اور وہ انجینئرنگ جو اسے سستا بناتی ہے (sparse patterns، sliding windows، سستے attention variants، اور پہلے کے tokens کی keys اور values کیش کرنا تاکہ اگلا turn انہیں دوبارہ نہ کرے) یہی وجہ ہے کہ 1,000,000 token کی window کو مسترد کرنے کے بجائے فی token قیمت دی جاتی ہے۔
AI model cost index میں، قیمت والی 100 رو میں سے 47 کی window 1,000,000 tokens یا اس سے زیادہ ہے، جو GPT-1 میں 512 tokens اور GPT-3 میں 2,048 سے بڑھی ہے۔ ان میں سے ہر ایک اب بھی فی input token چارج کرتا ہے، کیونکہ آپ کا بھیجا ہوا ہر token اس گرڈ کی ایک row ہے۔ 300,000 token کی دستاویز سے دس سوالات پوچھنا 3 ملین input tokens بنتا ہے، اور what are tokens in AI اس کی قیمت Claude Sonnet 5 پر $6 بتاتا ہے۔ آرکیٹیکچر ہی انوائس کی وضاحت کرتا ہے۔
یہ ناکامی کے انداز کی بھی وضاحت کرتا ہے۔ ٹرانسفارمر کے پاس اپنی window سے باہر کوئی یادداشت نہیں ہوتی۔ جو sequence میں نہیں ہے وہ اس کے لیے موجود ہی نہیں، یہی وجہ ہے کہ ایک لمبی گفتگو اپنی ابتدا بھول جاتی ہے اور retrieval، جس کا موضوع what is RAG ہے، اسی لیے موجود ہے کہ صحیح tokens کو واپس ڈال سکے۔
Encoder، decoder یا دونوں: شکل طے کرتی ہے کہ ماڈل کس کام کا ہے
2017 کے ماڈل کے دو حصے تھے: ایک encoder جو ماخذ جملہ پڑھتا تھا اور ایک decoder جو ترجمہ لکھتا تھا۔ اس کے بعد تقریباً ہر ماڈل صرف ایک حصہ رکھتا ہے۔
| شکل | یہ کیا کرتا ہے | تربیت کس کے لیے | مثالیں |
|---|---|---|---|
| صرف Encoder | متن پڑھتا ہے اور اس کی نمائندگی نکالتا ہے | چھپے ہوئے الفاظ بھرنا | BERT (2018)، سرچ کے پیچھے موجود embedding ماڈلز |
| صرف Decoder | ایک وقت میں ایک token لکھتا ہے | اگلا token پیش گوئی کرنا | GPT، Claude، Gemini، Llama، DeepSeek، Qwen |
| Encoder اور Decoder دونوں | ایک sequence پڑھتا ہے، دوسری لکھتا ہے | ترجمہ یا تبدیلی | اصل 2017 ماڈل، T5 |
جو چیٹ ماڈلز آپ استعمال کرتے ہیں وہ سب صرف decoder ہیں۔ یہ انتخاب، جو GPT-1 نے 2018 میں کیا اور ہر چیٹ ماڈل نے تب سے نقل کیا ہے، وجہ ہے کہ ایک لینگویج ماڈل تلاش نہیں کرتا بلکہ تخلیق کرتا ہے: پورا نیٹ ورک ایک next-token predictor ہے، what is temperature in AI اس ڈائل کا احاطہ کرتا ہے جو token چنتا ہے، اور what is an LLM اسی دھاگے کو hallucination اور باقی چیزوں تک لے جاتا ہے۔ صرف encoder والے ماڈلز غائب نہیں ہوئے۔ وہ embedding models بن گئے جو متن کو سرچ کے لیے ویکٹرز میں بدلتے ہیں، جو کہ attention کا وہ دوسرا کام ہے جس میں یہ اچھا نکلا۔
Vision نے بھی وہی راستہ اپنایا۔ 2020 میں Vision Transformer مقالے نے ایک تصویر کو 16 بائے 16 پکسل کے patches میں کاٹا، ہر patch کو ایک token کے طور پر لیا، اور بہترین convolutional networks کے برابر کارکردگی دکھائی۔ یہی وجہ ہے کہ اب وہی ماڈل آپ کا اسکرین شاٹ اور آپ کا پیراگراف دونوں پڑھ سکتا ہے: دونوں tokens کی ایک sequence بن کر آتے ہیں اور انہی attention layers سے گزرتے ہیں۔ تصویر بنانا اس کا استثنا ہے؛ زیادہ تر image models diffusion models ہوتے ہیں، ایک الگ ڈیزائن جسے what is generative AI الگ سے بیان کرتا ہے۔
ایک مقالے سے ہر frontier ماڈل تک نو سال، تاریخ کے ساتھ
نیچے دی گئی ٹائم لائن 2017 کے مقالے سے لے کر آج ان ماڈلز تک جاتی ہے جن پر Whizi روٹ کرتا ہے۔ نارنجی رنگ ان ریلیزز کو نشان زد کرتا ہے جو open weights کے ساتھ آئیں، جو بتاتا ہے کہ یہ ڈیزائن ان دو labs سے آگے کیسے پھیلا جنہوں نے اسے پہلے بنایا۔
پیرامیٹر کی تعداد تین اعداد میں پیمانے کی کہانی سناتی ہے: 2017 کے بنیادی ماڈل میں 65 ملین، تین سال بعد GPT-3 میں 175 بلین، اور 2026 میں cost index کے سب سے بڑے Qwen ماڈل میں 2.4 ٹریلین، جن میں سے کسی بھی token پر تقریباً 95 بلین ہی فعال ہوتے ہیں۔ اس دائرے میں آرکیٹیکچر نے قسم میں تبدیلی نہیں کی۔ یہ صرف چوڑا، گہرا اور بہتر خوراک والا ہوتا گیا۔ اس صفحے کی شرط یہ ہے: 2028 سے پہلے ریلیز ہونے والا کوئی بھی frontier ماڈل ٹرانسفارمر کے سوا کچھ نہیں ہوگا، اور AI model timeline وہ جگہ ہے جہاں یہ جانچا جائے گا۔
- "transformer" کو یوں سمجھیں کہ "وہ ڈیزائن جو ہر موجودہ ٹیکسٹ ماڈل شیئر کرتا ہے"؛ یہ نہیں بتاتا کہ کون سا ماڈل بہتر ہے
- توقع رکھیں کہ لاگت اور سست روی context length کے ساتھ لکیری سے زیادہ تیزی سے بڑھیں گی، اور لمبی اپلوڈز کو صرف اس حصے تک محدود رکھیں جس کی ضرورت ہو
- فرض کریں کہ ماڈل اپنی window سے باہر کی ہر چیز بھول جاتا ہے؛ اہم حقائق دوبارہ بیان کریں یا انہیں محفوظ رکھنے کے لیے project استعمال کریں
- vision اور text کو ایک ہی pipeline سمجھیں: اسکرین شاٹ بھی tokens ہی ہے، اس لیے اس کے بارے میں ویسے ہی پوچھیں جیسے کسی پیراگراف کے بارے میں پوچھتے ہیں
- کسی ماڈل کی معلومات پر بھروسہ کرنے سے پہلے اس کی ریلیز کی تاریخ چیک کریں؛ آرکیٹیکچر کے پاس کوئی گھڑی نہیں ہوتی
عمومی سوالات
AI میں transformer کا مطلب کیا ہے؟
ٹرانسفارمر 2017 کے مقالے Attention Is All You Need سے آنے والا ایک نیورل نیٹ ورک آرکیٹیکچر ہے۔ یہ sequence کے ہر token کو attention کے ذریعے متوازی طور پر پروسیس کرتا ہے، ایک ایسا عمل جس میں ہر token ہر دوسرے کے ساتھ اپنی relevance تولتا ہے، اور یہی وہ ڈیزائن ہے جو GPT، Claude، Gemini، Llama، DeepSeek اور Qwen کے اندر موجود ہے۔ مقالے میں یہ نہیں بتایا گیا کہ یہ نام کیوں چنا گیا۔
GPT کا مطلب کیا ہے؟
Generative pretrained transformer۔ Generative اس لیے کہ یہ متن پیدا کرتا ہے، pretrained اس لیے کہ چیٹ کے لیے ٹیون ہونے سے پہلے یہ ایک بڑے corpus سے سیکھتا ہے، اور transformer اس لیے کہ یہی اس کا نیٹ ورک آرکیٹیکچر ہے۔ OpenAI نے یہ نام جون 2018 میں GPT-1 کے ساتھ متعارف کرایا۔
attention mechanism کیا ہے؟
یہ ٹرانسفارمر کے مرکز میں موجود عمل ہے۔ ہر token sequence کے ہر دوسرے token کے خلاف ایک relevance score نکالتا ہے، اسکورز کو وزن میں بدلتا ہے، اور انہی وزن کے مطابق دوسرے tokens کی نمائندگیوں کو ملاتا ہے۔ یہی وجہ ہے کہ "it" ایک جملے میں "trophy" کا مطلب سیکھتا ہے اور دوسرے میں "suitcase" کا۔ یہ تمام tokens میں اور فی layer کئی heads میں متوازی طور پر چلتا ہے۔
ٹرانسفارمرز نے recurrent neural networks کی جگہ کیوں لی؟
Recurrent networks tokens کو ایک کے بعد ایک پڑھتے تھے اور معلومات کو ہر مرحلے سے آگے پہنچانا پڑتا تھا، جس سے یہ محدود ہو جاتا تھا کہ وہ کتنا یاد رکھ سکتے ہیں اور کتنی تیزی سے تربیت پاتے ہیں۔ ٹرانسفارمرز پوری sequence کو ایک ساتھ پڑھتے ہیں، اس لیے یہ ہر پہلے token تک براہ راست رسائی رکھتے ہیں اور parallel matrix operations کے طور پر تربیت پاتے ہیں جنہیں GPUs مؤثر طریقے سے چلاتے ہیں۔ 2017 کے مقالے نے تربیت کے وقت کا ایک چھوٹا سا حصہ لے کر بہترین ترجمہ نظاموں کے برابر کارکردگی دکھائی۔
کیا تمام AI ماڈلز ٹرانسفارمر ہوتے ہیں؟
ہر frontier LLM ہے، اور ہر وہ ٹیکسٹ ماڈل بھی جو Whizi پیش کرتا ہے؛ استثنات تحقیقی سلسلے جیسے Mamba اور hybrids جیسے Jamba ہیں، جن میں سے کوئی بھی کسی benchmark میں آگے نہیں ہے۔ Stable Diffusion اور Flux جیسے image generators diffusion models ہیں، ایک الگ ڈیزائن، اگرچہ بہت سے prompt پڑھنے کے لیے اندر ایک transformer استعمال کرتے ہیں۔ تصاویر پڑھنے والے vision models 2020 کے Vision Transformer مقالے سے ٹرانسفارمر ہی ہیں، جو image patches کو tokens کے طور پر لیتا ہے۔
