گفتگو یا دستاویز ماڈل کے لیے بہت طویل ہے

مختصر جواب

Whizi کوئی context limit ایرر نہیں دکھاتا۔ پروڈکٹ میں کوئی سٹرنگ context window یا token limit کا ذکر نہیں کرتی، کیونکہ جو گفتگو ماڈل سے بڑی ہو جائے اسے درخواست بھیجنے سے پہلے مسترد کرنے کی بجائے خاموشی سے فٹ کر کے کاٹ دیا جاتا ہے۔ کوئی چیز آپ کو نہیں بتاتی کہ ایسا ہوا ہے۔ اگر ماڈل کسی طویل چیٹ کے درمیانے حصے کو بھول گیا لگے، تو یہی وجہ ہے۔

چار چیزیں آپ کو مکمل طور پر مسترد کرتی ہیں، اور ہر ایک خود اپنا نام بتاتی ہے:

پیغام	HTTP کوڈ	وجہ
This message is {count} characters, over the 100,000 character limit. Attach a shorter file, or ask about one section at a time.	400 message_too_long	ایک پیغام، بشمول آپ کی فائلوں سے نکالا گیا متن، 100,000 حروف سے زیادہ ہے
This conversation has {count} messages, over the 100 message limit.	400 too_many_messages	ایک ہی درخواست میں 100 سے زیادہ پیغامات کا ٹرانسکرپٹ شامل تھا
Request is too large.	413 request_too_large	پورا JSON ریکویسٹ باڈی روٹ کے بائٹ کیپ سے تجاوز کر گیا
That system prompt is missing or over the 32,000 character limit.	400 invalid_system_prompt	سسٹم پرامپٹ 32,000 حروف سے زیادہ ہے

کریکٹر لمٹ سٹرنگ میں موجود {count} آپ کے اصل نمبر سے بھرا جاتا ہے، جو ہزاروں کے سیپریٹرز کے ساتھ فارمیٹ ہوتا ہے۔ ہر سٹرنگ کے ساتھ موجود کوڈ وہی ہے جو نیٹ ورک ٹریس میں نظر آتا ہے، چاہے انٹرفیس صرف جملہ ہی کیوں نہ دکھائے۔

اگر آپ نے کوئی ایسا پیغام دیکھا جو context length یا token count کا نام لیتا ہے، تو وہ Whizi سے نہیں آیا۔ آخری سیکشن پر جائیں۔

وہ بجٹ جو ہر ماڈل کو ملتا ہے، اور اس کے بعد کیا ہوتا ہے

کیٹلاگ کا ہر ماڈل ایک باری کے لیے وہی بجٹ پاتا ہے: 40,000 ان پٹ ٹوکنز اور 20,000 آؤٹ پٹ ٹوکنز۔ Canadian CPA agent واحد استثنا ہے، جو 55,000 ان پٹ ٹوکنز اور 40,000 آؤٹ پٹ ٹوکنز پاتا ہے۔

جب کوئی گفتگو اس بجٹ سے آگے نکل جائے، تو بیک اینڈ مسترد کرنے کی بجائے ہسٹری کو ماڈل کے ٹوکن بجٹ تک خاموشی سے کاٹ دیتا ہے۔ اس کے لیے نہ کوئی ٹوسٹ ہے، نہ بینر اور نہ کوئی ایرر کوڈ۔

جس ٹوکن کاؤنٹ کے خلاف Whizi کاٹتا ہے وہ حقیقی ٹوکنائزر کی بجائے ایک تخمینہ ہے۔ یہ JSON پر حقیقی ٹوکنائزر سے 1.66 گنا تک کم گن سکتا ہے، اس لیے بدترین ماپی گئی صورتحال کو کور کرنے کے لیے ان پٹ پر 1.8 گنا کی گنجائش لگائی جاتی ہے۔

بڑے context والے ماڈل پر سوئچ کرنا زیادہ نہیں بھیجتا

یہ سب سے عام غلط حل ہے۔ 40,000 ٹوکن کا ان پٹ بجٹ فلیٹ ہے: یہ اتنا ہی ہے ایک ملین ٹوکن والے ماڈل پر جتنا 200,000 ٹوکن والے ماڈل پر۔ کسی طویل گفتگو کو ایک بڑے ونڈو والے ماڈل سے دوسرے پر منتقل کرنا اس بات میں کوئی فرق نہیں ڈالتا کہ کتنا حصہ بھیجا جاتا ہے۔

Context window size صرف ایک سمت میں بجٹ بدلتا ہے: نیچے کی طرف۔ کوئی بھی ماڈل جس کا ونڈو 93,000 ٹوکنز سے نیچے ہو، اسے فلیٹ بجٹ کی بجائے ایک چھوٹا، متناسب بجٹ ملتا ہے، جس میں آؤٹ پٹ ونڈو کے 40 فیصد تک محدود ہوتا ہے اور 1,000 ٹوکن کا حفاظتی مارجن روکا جاتا ہے۔ کیٹلاگ کے 31 ماڈلز اس طرح کلیمپ کیے گئے ہیں، اور ان میں سب سے چھوٹا ونڈو 6,144 ٹوکنز ہے۔

تو وہ سوئچ جو واقعی مدد کرتا ہے وہ اس کے برعکس ہے جو لوگ آزماتے ہیں: کسی چھوٹے، کلیمپ شدہ ماڈل سے کسی عام ماڈل پر منتقل ہونا۔ دو بڑے ونڈو والے ماڈلز کے درمیان سوئچ کرنا ایک ایسی تبدیلی ہے جس کا لمبائی پر کوئی اثر نہیں۔ درمیانِ گفتگو ماڈل بدلنے کا رویہ switching models mid-conversation میں بیان کیا گیا ہے۔

93,000 کے ہندسے کے پیچھے ایک تفصیل، جاننے کے قابل اگر آپ سوچ رہے ہوں کہ کوئی ماڈل کوئی چھوٹی سی چیز کیوں مسترد کر گیا: OpenRouter ماڈل کے ونڈو کے خلاف صرف ان پٹ نہیں بلکہ ان پٹ جمع درخواست شدہ زیادہ سے زیادہ آؤٹ پٹ گنتا ہے۔

طویل اپ لوڈ کاٹا جاتا ہے، اور یہ آپ کو بتاتا ہے

اپ لوڈز عام طور پر وجہ ہوتی ہیں کہ ایک پیغام 100,000 حروف سے آگے نکل جائے، کیونکہ PDF، Word اور اسپریڈشیٹ فائلیں آپ کے براؤزر میں متن میں تبدیل ہوتی ہیں اور وہ متن اسی کیپ کے خلاف گنا جاتا ہے جتنا آپ کا ٹائپ کیا ہوا کچھ بھی۔

جب نکالا گیا متن فٹ نہ ہو، تو اسے مسترد کرنے کی بجائے کاٹا جاتا ہے، اور دو سٹرنگز نظر آتی ہیں۔ ٹوسٹ یہ پڑھتا ہے: Your upload was too large, so only the first part of it was sent. Ask about a smaller section for full coverage. پیغام میں خود کٹ کی جگہ پر یہ مارکر ہوتا ہے: [Attachment truncated: the upload was larger than one message can carry, so the content past this point was not included.] تاکہ ماڈل دیکھ سکے کہ اس کی کاپی کہاں رک گئی۔

اگر پیغام کاٹنے کی بجائے مسترد کر دیا جائے، تو آپ کو پہلی جدول والی message_too_long سٹرنگ ملتی ہے۔ حل وہی ہے جس کا نام خود ایرر لیتا ہے: چھوٹی فائل منسلک کریں، یا ایک وقت میں ایک سیکشن کے بارے میں پوچھیں۔

ایک اور رویہ جو بھول جانے جیسا لگتا ہے: صرف حال ہی کا وہ صارف پیغام جو منسلکات لے کر آیا ہو، اس کے منسلکات ماڈل کو بھیجے جاتے ہیں۔ دس باریوں پہلے منسلک کی گئی کوئی تصویر یا PDF ہر بعد والی باری میں دوبارہ نہیں بھیجی جاتی۔ اگر آپ چاہتے ہیں کہ ماڈل اسے دوبارہ دیکھے، تو اسے دوبارہ منسلک کریں۔ Whizi کیا قبول کرتا ہے اور نکالنا کیسے کام کرتا ہے یہ supported file types میں ہے۔

ایک لاگت سے متعلق نوٹ، کیونکہ لمبائی اس بات کو بدل دیتی ہے کہ ایک باری کی قیمت کیا ہے۔ Auto پر، تقریباً 6,000 حروف سے زیادہ کا پیغام لانگ فارم درجے پر جاتا ہے جو 4 کریڈٹس پر ہے، اس دلیل پر کہ اتنا طویل پیغام سوال کی بجائے پیسٹ کی گئی دستاویز ہے۔ ایک مختصر سوال کوئیک درجے پر جاتا ہے جو 1 کریڈٹ پر ہے۔ کریڈٹ اسکیل how credits work میں ہے۔

پن کی گئی پراجیکٹ فائلیں ہر باری میں پرامپٹ سے چارج ہوتی ہیں

ایک پن کی گئی پراجیکٹ فائل اس پراجیکٹ کی ہر ایک باری پر پرامپٹ متن کے طور پر ساتھ سفر کرتی ہے، ایک بار کی بجائے، اسی لیے تصاویر کو جان بوجھ کر پن کی جانے والی فائل کی اقسام سے خارج رکھا گیا ہے۔

حدیں اپنی الگ ہیں: ہر پن کی گئی فائل زیادہ سے زیادہ 32,000 حروف کا نکالا گیا متن دیتی ہے، اور پورا پراجیکٹ بلاک 120,000 حروف تک محدود ہے، زیادہ سے زیادہ 10 پن کی گئی فائلوں کے ساتھ۔ پراجیکٹ کسٹم انسٹرکشنز 32,000 حروف تک ہو سکتی ہیں۔

پن کی گئی فائلیں اور انسٹرکشنز اس پراجیکٹ کی ہر باری پر پرامپٹ میں دوبارہ بنائی جاتی ہیں، گفتگو کے اسی ان پٹ بجٹ کے اندر۔ اگر کوئی پراجیکٹ چیٹ عام چیٹ سے تیزی سے موضوع کھو دیتی لگے، تو ان فائلوں کو ان پن کریں جن کے بارے میں آپ نہیں پوچھ رہے۔

اگر آپ نے واقعی کوئی context length ایرر دیکھا

تو وہ Whizi سے نہیں بلکہ ماڈل پرووائیڈر سے آیا، اور یہ آپ تک پاس تھرو کے ذریعے پہنچا۔ کوئی بھی اپ سٹریم ناکامی جو ریٹ لمٹ نہ ہو اسے HTTP 502 کے ساتھ کوڈ provider_error کے ساتھ واپس کیا جاتا ہے، جس میں پرووائیڈر کا پیغام ہوتا ہے، جو 300 حروف تک کاٹا گیا ہو۔ جب پرووائیڈر کا ایرر باڈی بالکل پارس نہ ہو سکے، تو اس کی بجائے آپ کو The model provider rejected the request. ملتا ہے۔

لمبائی پر پرووائیڈر کی مستردی ایک context length اور ایک token count کا نام لے گی۔ وہ نمبر پرووائیڈر کا آپ کی درخواست کو ایک ایسے ونڈو کے خلاف گننا ہے جو Whizi کے بھیجے گئے بجٹ سے چھوٹا ہے، اور یہی وہ اعداد ہیں جن پر سپورٹ کو نظر ڈالنے کی ضرورت ہے۔

کوئی انٹرفیس سیٹنگ اسے نہیں بدلتی۔ اپنا جواب پانے کے لیے کسی اور ماڈل پر سوئچ کریں، اور نمبروں سمیت وہی پیغام سپورٹ کو بھیجیں۔

دو مزید سٹرنگز جنہیں لوگ لمبائی کا مسئلہ سمجھ بیٹھتے ہیں۔ Generation failed mid-stream. اور The model stream was interrupted. جواب کے درمیان کنکشن کی ناکامیاں ہیں، لمبائی کی مستردی نہیں۔ ان پر دوبارہ کوشش کریں۔ Too many requests. Please wait and try again. فی منٹ 10 پیغامات پر ایک ریٹ لمٹ ہے، جس کا بھی لمبائی سے کوئی تعلق نہیں۔