AI Tokens کیا ہیں؟

ٹوکن لفظ کا ٹکڑا ہے، پورا لفظ نہیں

ماڈلز حروف نہیں پڑھتے اور نہ الفاظ پڑھتے ہیں۔ آپ کا پیغام ماڈل تک پہنچنے سے پہلے، ایک ٹوکنائزر اسے دسیوں ہزار ٹکڑوں کی ایک مقررہ لغت سے ٹکڑوں میں تقسیم کرتا ہے۔ عام الفاظ ایک ٹوکن ہوتے ہیں۔ نایاب الفاظ دو یا تین ٹوکن ہوتے ہیں۔ "The" ایک ٹوکن ہے؛ "tokenization" عام طور پر دو یا تین ٹوکن ہے؛ ایک لمبا URL درجنوں ٹوکن ہو سکتا ہے۔

OpenAI انگریزی متن کے لیے جو اصول شائع کرتا ہے وہ یہ ہے: ایک ٹوکن تقریباً چار حروف، یا لفظ کے تقریباً تین چوتھائی کے برابر ہوتا ہے۔ چنانچہ 100 ٹوکن تقریباً 75 الفاظ ہیں، اور 1,000 ٹوکن ڈیڑھ صفحے کے برابر ہیں۔

دو چیزیں شمار کو بدل دیتی ہیں۔ کوڈ زیادہ گنجان چلتا ہے، علامتوں اور انڈینٹیشن کی وجہ سے تقریباً ہر تین حروف پر ایک ٹوکن کے قریب۔ اور وہ زبانیں جو ٹوکنائزر کے تربیتی ڈیٹا میں کم نمائندگی رکھتی ہیں زیادہ مہنگی پڑتی ہیں: تھائی، ہندی یا عربی میں وہی مطلب انگریزی ورژن سے دو سے تین گنا زیادہ ٹوکن لے سکتا ہے، جو اہم ہے اگر آپ فی ٹوکن ادائیگی کر رہے ہیں اور انہی میں سے کسی زبان میں لکھ رہے ہیں۔

آپ خود دیکھ سکتے ہیں۔ کوئی بھی متن ٹوکن لاگت کیلکولیٹر میں پیسٹ کریں اور یہ ہر ماڈل پر شمار اور قیمت دکھاتا ہے۔

ان پٹ ٹوکن اور آؤٹ پٹ ٹوکن کی قیمتیں الگ ہیں

ہر پیغام کے دو حصے ہوتے ہیں۔ ان پٹ ٹوکن وہ سب کچھ ہے جو ماڈل پڑھتا ہے: آپ کا سوال، سسٹم ہدایات، اب تک کی گفتگو، اور کوئی بھی منسلک فائل۔ آؤٹ پٹ ٹوکن وہ ہیں جو ماڈل واپس لکھتا ہے۔

فراہم کنندگان ان دونوں کی مختلف شرحیں وصول کرتے ہیں، اور فرق چھوٹا نہیں۔ یہ جدول AI ماڈل لاگت انڈیکس سے فی ملین ٹوکن کی فہرست قیمت ہے، جس کی قیمتیں OpenRouter سے 2026-08-20 کو حاصل کی گئیں۔

آؤٹ پٹ اس لیے مہنگا ہے کہ ماڈل کیسے چلتا ہے۔ ان پٹ پڑھنا ایک متوازی مرحلے میں تمام ٹوکنز پر بیک وقت ہوتا ہے۔ آؤٹ پٹ لکھنا ایک وقت میں ایک ٹوکن ہوتا ہے، ہر نئے ٹوکن کو پورے ماڈل سے دوبارہ گزرنے کی ضرورت ہوتی ہے۔ 500 ٹوکن کا جواب 500 ترتیب وار مراحل ہے۔

ایک حقیقی پیغام کی قیمت، مرحلہ وار

ایک عام تبادلے کو لیں: سیاق و سباق کے ایک پیراگراف کے ساتھ 300 لفظی سوال، جس کا جواب 400 الفاظ میں دیا جائے۔ یہ تقریباً 400 ان پٹ ٹوکن اور 530 آؤٹ پٹ ٹوکن ہیں۔

• GPT-5.6 Luna پر: 400 × $0.20 فی ملین جمع 530 × $1.20 فی ملین، جو $0.00008 جمع $0.00064 ہے، تقریباً $0.0007۔ سینٹ کا سات سو حصہ۔
• Claude Sonnet 5 پر: 400 × $2 جمع 530 × $10، فی ملین، جو $0.0008 جمع $0.0053 ہے، تقریباً $0.006۔ آدھے سینٹ سے کچھ زیادہ۔
• GPT-5.5 پر: 400 × $5 جمع 530 × $30، فی ملین، جو $0.002 جمع $0.0159 ہے، تقریباً $0.018۔ تقریباً دو سینٹ۔

غور کریں کہ ہر قطار میں آؤٹ پٹ کا حصہ بل کا 80 سے 90 فیصد ہے۔ پیغام کی شکل، نہ کہ صرف ماڈل، لاگت طے کرتی ہے: ایک سطر کا سوال جو 2,000 الفاظ کا مضمون مانگے وہ مہنگا پیٹرن ہے، اور ایک لمبی دستاویز کے بارے میں ایک سطر کا سوال اسی ماڈل پر سستا ہے۔

زوم آؤٹ کریں تو پوری فہرست میں پھیلاؤ ہی اصل کہانی ہے۔ AI ماڈل لاگت انڈیکس میں ہر قیمتی ماڈل ایک معیاری جواب کی قیمت کے لحاظ سے نیچے دی گئی لائن پر بیٹھتا ہے۔ سب سے سستا، Ling-3.0-flash، $0.000053 ہے؛ سب سے مہنگا، Claude Opus 4.7 اپنے فاسٹ موڈ میں، $0.105 ہے: انہی 1,500 ٹوکنز کے لیے تقریباً 2,000 گنا کا فرق۔

دوسرا ضرب کنندہ تاریخ ہے۔ چیٹ میں، ماڈل ہر باری پر پوری گفتگو دوبارہ پڑھتا ہے، اس لیے ان پٹ کی گنتی ہر پیغام کے ساتھ بڑھتی ہے۔ 40 باریوں کی گفتگو پہلا پیغام 40 بار بھیجتی ہے۔ یہی وجہ ہے کہ لمبی تھریڈز سست ہو جاتی ہیں اور context window کیا ہے وہ حد ہے جس تک آپ بالآخر پہنچ جاتے ہیں۔

سبسکرپشن میٹر کیوں چھپاتی ہے لیکن ختم نہیں کرتی

کنزیومر پلانز ایک فلیٹ ماہانہ فیس وصول کرتے ہیں، اور اس فیس کے نیچے ہر فراہم کنندہ اب بھی ٹوکن گن رہا ہوتا ہے۔ یہ شمار پیغام کی حدوں، "آپ اپنی حد تک پہنچ چکے ہیں" کی دیوار، اور بجٹ کم ہونے پر ایک چھوٹے ماڈل کی طرف خاموش تبدیلی کی صورت میں سامنے آتا ہے۔

Whizi اُلٹی سمت میں میٹر کرتا ہے۔ ہر ماڈل کی فی پیغام ایک مقررہ کریڈٹ قیمت ہے: ہاؤس ماڈل کے لیے 1 کریڈٹ، Claude Sonnet 5 کے لیے 10، Claude Opus 5 اور GPT-5.5 کے لیے 20، اور سیڑھی کے بالکل اوپر 100۔ یہ عدد کبھی اس پر منحصر نہیں ہوتا کہ آپ کا پیغام یا جواب کتنا لمبا تھا۔ یہ سیڑھی ایک حقیقی ٹوکن باری سے جڑی ہے، ہاؤس ماڈل پر 3,000 ٹوکن اندر اور 800 باہر، جس کی لاگت فراہم کنندہ کے خرچ میں تقریباً $0.00156 ہے اور یہی ایک کریڈٹ کی تعریف کرتا ہے۔ Whizi کریڈٹس کیسے کام کرتے ہیں میں مکمل جدول موجود ہے۔

یہ تبادلہ جان بوجھ کر کیا گیا ہے۔ فی ٹوکن میٹر درست مگر غیر متوقع ہوتا ہے؛ فی پیغام کریڈٹ لمبے پیغامات کے لیے تھوڑا فراخدلانہ اور مختصر پیغامات کے لیے تھوڑا کنجوس ہوتا ہے، اور آپ بھیجنے کا بٹن دبانے سے پہلے ہی قیمت جان لیتے ہیں۔

ٹوکن گنجائش کی حد بھی ہیں

ٹوکن اہم ہونے کی دوسری وجہ گنجائش ہے۔ ہر ماڈل کی ایک context window ٹوکنز میں ناپی جاتی ہے: زیادہ سے زیادہ جو وہ ایک وقت میں غور کر سکتا ہے، ان پٹ اور آؤٹ پٹ ملا کر۔ Claude Haiku 4.5 200,000 ٹوکن رکھتا ہے۔ GPT-5.6 Terra، Claude Sonnet 5 اور Gemini 3.7 Flash تقریباً 1 ملین رکھتے ہیں۔ 1,000 ٹوکن میں 750 الفاظ کے حساب سے، ایک ملین ٹوکن تقریباً 750,000 الفاظ، یا تقریباً 1,500 صفحات کے برابر ہیں۔

یہ ونڈو مفت نہیں۔ اسے بھرنا ہر باری پر ان پٹ ٹوکن خرچ کرتا ہے، چنانچہ 300,000 ٹوکن کی دستاویز سے دس سوالات پوچھنا 3 ملین ان پٹ ٹوکن بنتا ہے، جو Claude Sonnet 5 پر لسٹ قیمت پر $6 ہے۔ Retrieval، جہاں ایپ دستاویز کو تلاش کرتی ہے اور صرف متعلقہ صفحات بھیجتی ہے، بالکل اسی بل سے بچنے کے لیے موجود ہے۔ RAG کیا ہے طریقہ کار کی وضاحت کرتا ہے، اور context window موازنہ میں ہر ماڈل کی حد ایک ہی جدول میں موجود ہے۔ صرف وہ صفحات بھیجیں جن کی سوال کو ضرورت ہے، کبھی پوری فائل نہیں۔