Fine tuning ایک بہت بڑے ماڈل پر ایک چھوٹی سی تبدیلی ہے
ایک زبان ماڈل پہلے سے تربیت یافتہ حالت میں آپ تک پہنچتا ہے۔ Pretraining نے کھربوں ٹوکنز کا ایک ذخیرہ پڑھا؛ Meta نے Llama 3 کے لیے 15 کھرب سے زیادہ کی اطلاع دی۔ Post-training نے پھر اسے ایک اسسٹنٹ بننے کی تربیت دی۔ LLM کیا ہے دونوں مراحل کا احاطہ کرتا ہے۔
Fine tuning ایک تیسرا، بہت چھوٹا مرحلہ ہے جو آپ خود چلاتے ہیں۔ آپ ماڈل کو بالکل وہی ان پٹ اور آؤٹ پٹ کی چند سو سے چند ہزار مثالیں دیتے ہیں جو آپ چاہتے ہیں، اور اسے ان پر تھوڑا اور تربیت دیتے ہیں۔ OpenAI کی fine-tuning گائیڈ کہتی ہے کہ واضح بہتری عام طور پر 50 سے 100 مثالوں سے نظر آنے لگتی ہے۔ پیرامیٹرز تھوڑا سا اس سمت میں کھسک جاتے ہیں کہ ڈیفالٹ طور پر آپ کی طرز کا جواب پیدا کریں۔
پیمانے کا فرق ہی پوری کہانی ہے۔ پندرہ کھرب ٹوکنز کے مقابلے میں چند سو مثالیں: fine tune معنی خیز علم شامل نہیں کر سکتی، کیونکہ اس کی مقدار اتنی نہیں کہ ماڈل کے علم پر کوئی فرق پڑے۔ یہ جو کر سکتی ہے وہ یہ ہے کہ ماڈل کے جواب دینے کے انداز پر فرق ڈالے، کیونکہ چند سو بار دہرایا گیا ایک یکساں فارمیٹ بالکل وہی پیٹرن ہے جسے ایک چھوٹی سی تبدیلی پکڑ لیتی ہے۔
Fine tuning یہ بدلتی ہے کہ ماڈل کیسے جواب دیتا ہے، کبھی یہ نہیں کہ وہ کیا جانتا ہے
جو لکیر کھینچنی ہے وہ رویے اور علم کے درمیان ہے۔
| آپ چاہتے ہیں کہ ماڈل... | Fine tuning | جو اصل میں کام کرتا ہے |
|---|---|---|
| ہمیشہ آپ کے اپنے انداز یا لہجے میں جواب دے | ہاں، یہ بنیادی استعمال ہے | Fine tune کریں، یا مثالوں کے ساتھ ایک مضبوط سسٹم پرامپٹ |
| ہمیشہ ایک مخصوص فارمیٹ لوٹائے (JSON، ایک طے شدہ ٹیمپلیٹ) | ہاں | بڑے پیمانے پر بھروسے کے لیے Fine tune کریں؛ کبھی کبھار استعمال کے لیے پرامپٹ |
| بار بار یاد دلائے بغیر قوانین کی ایک لمبی فہرست پر عمل کرے | ہاں | Fine tune کریں؛ قوانین پرامپٹ سے weights میں منتقل ہو جاتے ہیں |
| آپ کا پروڈکٹ، قیمتیں، پالیسیاں جانے | نہیں | Retrieval: جواب کے وقت اسے دستاویزات دیں |
| تربیت کے بعد بدلی ہوئی کوئی بھی چیز جانے | نہیں | ویب سرچ یا retrieval |
| مشکل مسائل پر بہتر استدلال کرے | نہیں | ایک reasoning ماڈل یا بڑا ماڈل |
جس ناکامی سے لوگ ٹکراتے ہیں وہ چوتھی قطار ہے۔ وہ اپنے ہیلپ سینٹر پر fine tune کرتے ہیں، یہ توقع کرتے ہوئے کہ ماڈل ان کا پروڈکٹ جان جائے گا۔ انہیں ایک ایسا ماڈل ملتا ہے جو ہیلپ سینٹر کے لہجے میں لکھتا ہے اور روانی سے پروڈکٹ کے حقائق گھڑ لیتا ہے، کیونکہ تربیت نے اسے جوابات کی شکل سکھائی، مواد نہیں۔ علم کا کام retrieval کا ہے، اور RAG کیا ہے بتاتا ہے کہ یہ کیسے کام کرتا ہے۔
Fine tuning جان بوجھ کر سستے ماڈلز پر کیوں کی جاتی ہے
کوئی بھی ایک محدود کام کے لیے کسی خاندان کے سب سے مہنگے ماڈل کو fine tune نہیں کرتا۔ مقصد یہ ہے کہ ایک چھوٹا، سستا ماڈل وہ ایک کام اتنی اچھی طرح کرے جتنا فرنٹیئر ماڈل ایک لمبے پرامپٹ کے ساتھ کرتا ہے، اور پھر سستے والے کو لاکھوں بار چلایا جائے۔
ہر سرے کے اوپر موجود اعداد Artificial Analysis Intelligence Index اسکورز ہیں، جو 2026-09-17 کو پڑھے گئے، اور لکیر فی ملین ٹوکنز قیمت کے فرق کو ظاہر کرتی ہے۔ ایک عمومی مقصد کا Llama 4 Maverick 9 اسکور کرتا ہے جبکہ Claude Sonnet 5 کا اسکور 38 ہے؛ ایک fine tune کا داؤ یہ ہے کہ ایک محدود کام پر یہ 29 پوائنٹس کا فرق 127 گنا بچت کے عوض پاٹا جا سکتا ہے۔ 2026-08-20 کو حاصل کردہ OpenRouter کی فہرست قیمتوں پر، 1,000 ٹوکنز ان پٹ اور 500 آؤٹ پٹ کے ایک معیاری جواب کی قیمت Maverick پر $0.0006 اور Sonnet 5 پر $0.007 بنتی ہے، AI model cost index کے مطابق، تو ایک سپورٹ کلاسیفائر جو ماہانہ 100,000 بار چلتا ہے پہلے پر $60 اور دوسرے پر $700 خرچ کرے گا۔ اگر ٹیون شدہ Maverick اس ایک کام پر Sonnet کے برابر آ جائے، تو یہ تربیت پہلے ہی مہینے میں اپنی لاگت پوری کر لیتی ہے۔ یہی حساب کتاب، نہ کہ عمومی طور پر ماڈل کا معیار، fine tuning کا مقصد ہے۔
وہ طریقہ جس نے اسے سستا بنایا وہ LoRA ہے، جو 2021 میں شائع ہوا، جو پورے ماڈل کے بجائے شامل کیے گئے پیرامیٹرز کے ایک چھوٹے سیٹ کو تربیت دیتا ہے۔ اپنے 4-bit جانشین QLoRA (Dettmers et al., 2023) کے ساتھ، ایک 7 ارب پیرامیٹرز والا ماڈل ایک واحد 24 GB کنزیومر گرافکس کارڈ پر ٹیون ہو جاتا ہے۔ اسی ماڈل کی مکمل fine tuning کا مطلب ہے کئی ڈیٹا سینٹر GPUs پر ہر پیرامیٹر کو اپ ڈیٹ کرنا۔
کوئی بھی تربیت شروع کرنے سے پہلے ایک پرامپٹ، retrieval یا مختلف ماڈل اکثر معاملات حل کر دیتا ہے
Fine tuning آخری آپشن ہے، پہلا نہیں، کیونکہ ان میں سے ہر ایک عام حالات کو تربیت کے ایک حصے کی محنت میں حل کر دیتا ہے اور ایک منٹ میں بدلا جا سکتا ہے۔
- مثالوں کے ساتھ ایک بہتر پرامپٹ۔ آپ جو آؤٹ پٹ چاہتے ہیں اس کی تین مثالیں پرامپٹ کے اندر شامل کرنا بغیر کسی تربیت کے fine tune کا زیادہ تر فارمیٹ اور لہجے کا فائدہ دے دیتا ہے۔ ابتدائی افراد کے لیے پرامپٹ انجینئرنگ اس پیٹرن کا احاطہ کرتا ہے۔
- Retrieval۔ اگر فرق علم کا ہے، تو کوئی بھی مقدار کی ٹیوننگ اسے نہیں پاٹتی۔ دستاویزات اپلوڈ کریں یا سرچ آن کریں۔
- ایک مختلف ماڈل۔ ماڈلز کا ڈیفالٹ لہجہ مختلف ہوتا ہے۔ ایک ماڈل جو پہلے ہی آپ کی مرضی کے مطابق لکھتا ہے، اسے ٹیون کرنے سے بہتر ہے جو ایسا نہیں کرتا؛ ایک multi-model ورک اسپیس اسے ایک کلک کا ٹیسٹ بنا دیتا ہے۔
Fine tuning کی طرف تب جائیں جب پرامپٹ قوانین کے ایک پورے صفحے تک بڑھ چکا ہو جسے ماڈل بھولتا رہتا ہے، جب کام اتنے حجم پر چلتا ہو کہ پرامپٹ کی لمبائی حقیقی پیسے بن جائے، یا جب آپ کو دس ہزار بار بغیر کسی ایک بھی انحراف کے قابل بھروسہ طور پر ایک فارمیٹ چاہیے ہو۔ یہ حقیقی ضرورتیں ہیں۔ یہ نایاب بھی ہیں۔
کیا آپ ایک چیٹ پروڈکٹ کے اندر fine tune کر سکتے ہیں؟
عام طور پر نہیں، اور Whizi بھی اس سے مستثنیٰ نہیں۔ صارف چیٹ پروڈکٹس، بشمول Whizi، fine tuning کی سہولت نہیں دیتیں؛ یہ پرووائیڈر APIs اور اوپن ویٹ ماڈلز پر ایک ڈیولپر فیچر ہے۔ چیٹ ایپ کے اندر اس کے قریب ترین چیز کھڑی ہدایات ہیں۔ Whizi میں یہ ایک پروجیکٹ پر رہتی ہیں: فی پروجیکٹ کسٹم ہدایات اس پروجیکٹ کی ہر گفتگو پر لاگو ہوتی ہیں، جو بغیر کچھ تربیت دیے کام کے ایک پورے مجموعے میں یکساں لہجہ اور فارمیٹ حاصل کرنے کا طریقہ ہے۔ پروجیکٹس کیسے استعمال کریں سیٹ اپ کی وضاحت کرتا ہے۔
زیادہ تر لوگوں کے لیے یہی صحیح ٹریڈ آف ہے۔ ایک پروجیکٹ ہدایت ایک پرامپٹ ہے جو آپ ایک بار لکھتے ہیں اور جب بھی قوانین بدلیں اسے ایڈٹ کرتے ہیں۔ ایک fine tune ایک ماڈل ہے جسے آپ ہر بار قوانین بدلنے پر دوبارہ تربیت دیتے ہیں۔ ہر اس شخص کے لیے جو بڑے پیمانے پر کوئی محدود کام نہیں چلا رہا، پرامپٹ لاگت، تبدیلی کی رفتار اور اس حقیقت میں جیت جاتا ہے کہ آپ اسے پڑھ سکتے ہیں۔
فیصلے کا اصول: fine tune تب کریں جب وہی محدود کام اتنے حجم پر چلتا ہو جہاں ایک سستے ماڈل کی خود اپنی لاگت پوری کرنا اہمیت رکھتا ہو۔ باقی ہر جگہ، ہدایت لکھ کر رکھ دیں۔
- طے کریں کہ فرق رویے کا ہے یا علم کا؛ fine tuning صرف پہلے کو ٹھیک کرتی ہے
- کسی بھی تربیت سے پہلے تین مثالوں کے ساتھ ایک پرامپٹ آزمائیں
- حقائق، قیمتوں اور بدلنے والی کسی بھی چیز کے لیے retrieval یا ویب سرچ استعمال کریں
- پہلے ایک مختلف ماڈل ٹیسٹ کریں؛ ہو سکتا ہے کوئی پہلے ہی آپ کی مرضی کے مطابق لکھتا ہو
- ایک محدود، بلند حجم کام کے لیے ایک سستے ماڈل کو fine tune کریں، اور اسے فرنٹیئر ماڈل کے مقابلے میں اسی کام پر ناپیں
عمومی سوالات
AI ماڈل کو fine tune کرنے کا مطلب کیا ہے؟
اس کا مطلب ہے پہلے سے تربیت یافتہ ماڈل کو آپ کی اپنی مثالوں پر تھوڑا مزید تربیت دینا، عام طور پر چند سو سے چند ہزار ان پٹ آؤٹ پٹ جوڑوں پر، تاکہ وہ ڈیفالٹ طور پر ایک اسٹائل، فارمیٹ یا قوانین کا سیٹ اپنا لے۔ یہ pretraining کے اوپر ایک چھوٹی سی ایڈجسٹمنٹ ہے جس نے کھربوں ٹوکنز پڑھے تھے، یہی وجہ ہے کہ یہ رویہ تشکیل دیتی ہے، علم شامل نہیں کرتی۔
Fine tuning بمقابلہ RAG: مجھے کون سا استعمال کرنا چاہیے؟
Fine tuning اس کے لیے کہ ماڈل کیسے جواب دیتا ہے: لہجہ، فارمیٹ، ایک لمبے قوانین کے سیٹ کی پیروی۔ RAG اس کے لیے کہ وہ کیا جانتا ہے: آپ کی دستاویزات اور بدلنے والی کوئی بھی چیز۔ یہ مختلف مسائل حل کرتے ہیں اور پروڈکشن سسٹمز اکثر دونوں استعمال کرتے ہیں۔ اگر آپ کا فرق حقائق کا ہے، تو fine tuning اسے نہیں پاٹے گی؛ ماڈل صحیح لگے گا مگر غلط ہوگا۔
کسی ماڈل کو fine tune کرنے کے لیے کتنی مثالوں کی ضرورت ہوتی ہے؟
OpenAI کی fine-tuning گائیڈ کہتی ہے کہ واضح بہتری عام طور پر 50 سے 100 اچھی طرح بنائی گئی مثالوں سے نظر آنے لگتی ہے، اور یہ کہ معیار تعداد سے زیادہ اہم ہے۔ چند سو ایک عام کام کرنے والا سائز ہے؛ ہزاروں مثالیں بہت سے الگ الگ حالات والے کاموں کے لیے مددگار ہوتی ہیں۔
Fine tuning کی لاگت کتنی ہوتی ہے؟
تربیت کا عمل عام طور پر چھوٹا حصہ ہوتا ہے؛ اصل بات بعد میں ہر جواب پر ہونے والی بچت ہے۔ 2026-08-20 کو حاصل کردہ OpenRouter کی فہرست قیمتوں پر، ایک معیاری جواب کی قیمت Llama 4 Maverick پر $0.0006 اور Claude Sonnet 5 پر $0.007 ہے، تو ایک کام جو ماہانہ 100,000 بار چلتا ہے $60 کے مقابلے میں $700 خرچ کرتا ہے۔ ایک fine tune جو سستے ماڈل کو اس کام پر مہنگے ماڈل کے برابر لے آئے پہلے ہی مہینے میں اپنی لاگت واپس دے دیتی ہے۔
کیا میں ChatGPT یا Claude کو fine tune کر سکتا ہوں؟
صارف والی ایپس کو نہیں۔ Fine tuning کچھ ماڈلز پر پرووائیڈر APIs اور آپ خود چلانے والے اوپن ویٹ ماڈلز پر پیش کی جاتی ہے۔ چیٹ پروڈکٹ کے اندر اس کے برابر چیز ایک کھڑی ہدایت ہے: ChatGPT کی کسٹم ہدایات، یا Whizi میں ایک پروجیکٹ سطح کی ہدایت جو اس پروجیکٹ کی ہر گفتگو پر لاگو ہوتی ہے۔
