คำตอบสั้น ๆ
Whizi ไม่แสดงข้อความแจ้งเตือนเกี่ยวกับขีดจำกัดบริบทเลย ไม่มีข้อความใดในผลิตภัณฑ์ที่พูดถึงหน้าต่างบริบทหรือขีดจำกัดโทเคน เพราะบทสนทนาที่ยาวเกินกว่าโมเดลจะรับไหวจะถูกตัดให้พอดีก่อนส่งคำขอ แทนที่จะถูกปฏิเสธ ไม่มีอะไรบอกคุณว่าเกิดเหตุการณ์นี้ขึ้น หากดูเหมือนโมเดลลืมช่วงกลางของแชทยาว ๆ นั่นแหละคือสิ่งที่เกิดขึ้นจริง
มีสี่สิ่งที่ปฏิเสธคุณโดยตรง และแต่ละอย่างก็ระบุชื่อของตัวเองไว้:
| ข้อความ | รหัส HTTP | สาเหตุ |
|---|---|---|
ข้อความนี้มี {count} อักขระ เกินขีดจำกัด 100,000 อักขระ กรุณาแนบไฟล์ที่สั้นลง หรือถามทีละส่วน | 400 message_too_long | หนึ่งข้อความ รวมถึงข้อความที่ดึงออกมาจากไฟล์ของคุณ มีความยาวเกิน 100,000 อักขระ |
บทสนทนานี้มี {count} ข้อความ เกินขีดจำกัด 100 ข้อความ | 400 too_many_messages | คำขอเดียวมีประวัติการสนทนามากกว่า 100 ข้อความ |
คำขอมีขนาดใหญ่เกินไป | 413 request_too_large | เนื้อหา JSON ทั้งหมดของคำขอเกินเพดานขนาดไบต์ของเส้นทาง |
พรอมต์ระบบขาดหายไปหรือมีความยาวเกิน 32,000 อักขระ | 400 invalid_system_prompt | พรอมต์ระบบมีความยาวเกิน 32,000 อักขระ |
{count} ในข้อความขีดจำกัดอักขระจะถูกแทนที่ด้วยตัวเลขจริงของคุณ จัดรูปแบบด้วยเครื่องหมายคั่นหลักพัน รหัสข้างข้อความแต่ละอันคือสิ่งที่ปรากฏใน network trace แม้ว่าหน้าจอจะแสดงแค่ประโยคก็ตาม
หากคุณเห็นข้อความที่ระบุความยาวบริบทหรือจำนวนโทเคน นั่นไม่ได้มาจาก Whizi ข้ามไปที่หัวข้อสุดท้ายได้เลย
โควตาที่โมเดลทุกตัวได้รับ และสิ่งที่เกิดขึ้นเมื่อเกินโควตา
โมเดลทุกตัวในแคตตาล็อกได้รับโควตาเท่ากันสำหรับหนึ่งรอบสนทนา คือ 40,000 โทเคนอินพุต และ 20,000 โทเคนเอาต์พุต ยกเว้นเอเจนต์ CPA ของแคนาดาเพียงตัวเดียวที่ได้ 55,000 โทเคนอินพุต และ 40,000 โทเคนเอาต์พุต
เมื่อบทสนทนายาวเกินโควตานั้น แบ็กเอนด์จะตัดประวัติให้เหลือพอดีกับโควตาโทเคนของโมเดลอย่างเงียบ ๆ แทนที่จะปฏิเสธ ไม่มี toast ไม่มีแบนเนอร์ และไม่มีรหัสข้อผิดพลาดใด ๆ สำหรับกรณีนี้
จำนวนโทเคนที่ Whizi ใช้ตัดนั้นเป็นค่าประมาณ ไม่ใช่ตัวนับโทเคนจริง มันอาจนับต่ำกว่าตัวนับโทเคนจริงได้ถึง 1.66 เท่าในกรณี JSON ดังนั้นจึงมีการเผื่ออัตรา 1.8 เท่ากับอินพุต เพื่อครอบคลุมกรณีที่แย่ที่สุดที่วัดได้
การสลับไปใช้โมเดลที่มีหน้าต่างบริบทใหญ่กว่าไม่ได้ทำให้ส่งข้อมูลได้มากขึ้น
นี่คือวิธีแก้ที่ผิดซึ่งพบบ่อยที่สุด โควตาอินพุต 40,000 โทเคนนั้นคงที่ เท่ากันทั้งบนโมเดลที่มีหน้าต่างขนาดหนึ่งล้านโทเคนและโมเดลที่มีหน้าต่างขนาด 200,000 โทเคน การย้ายบทสนทนายาว ๆ จากโมเดลหน้าต่างใหญ่ตัวหนึ่งไปยังอีกตัวหนึ่งไม่ได้เปลี่ยนแปลงปริมาณที่ถูกส่งไปเลย
ขนาดหน้าต่างบริบท เปลี่ยนโควตาได้ในทิศทางเดียวเท่านั้น คือลดลง โมเดลใดก็ตามที่มีหน้าต่างต่ำกว่า 93,000 โทเคนจะได้โควตาที่เล็กลงตามสัดส่วนแทนที่จะเป็นโควตาคงที่ โดยเอาต์พุตถูกจำกัดที่ 40 เปอร์เซ็นต์ของหน้าต่าง และกันมาร์จิ้นความปลอดภัยไว้ 1,000 โทเคน มีโมเดล 31 ตัวในแคตตาล็อกที่ถูกจำกัดแบบนี้ และหน้าต่างที่เล็กที่สุดในกลุ่มนี้คือ 6,144 โทเคน
ดังนั้นสวิตช์ที่ช่วยได้จริงคือตรงข้ามกับสิ่งที่คนส่วนใหญ่ลอง คือการย้ายออกจากโมเดลเล็กที่ถูกจำกัดไปยังโมเดลทั่วไป การย้ายระหว่างโมเดลหน้าต่างใหญ่สองตัวเป็นการเปลี่ยนแปลงที่ไม่มีผลต่อความยาวเลย วิธีที่การสลับโมเดลกลางบทสนทนาทำงานอธิบายไว้ใน การสลับโมเดลกลางบทสนทนา
รายละเอียดหนึ่งที่อยู่เบื้องหลังตัวเลข 93,000 นี้ ควรรู้ไว้หากคุณกำลังคิดว่าทำไมโมเดลถึงปฏิเสธบางอย่างที่เล็กนิดเดียว: OpenRouter นับอินพุตบวกกับเอาต์พุตสูงสุดที่ร้องขอรวมกันเทียบกับหน้าต่างของโมเดล ไม่ใช่แค่อินพุตอย่างเดียว
ไฟล์แนบยาว ๆ จะถูกตัด และมันจะบอกคุณ
ไฟล์แนบมักเป็นสาเหตุปกติที่ทำให้ข้อความเดียวเกิน 100,000 อักขระ เพราะไฟล์ PDF, Word และสเปรดชีตจะถูกดึงเป็นข้อความในเบราว์เซอร์ของคุณ และข้อความนั้นก็นับรวมในเพดานเดียวกับสิ่งที่คุณพิมพ์เอง
เมื่อข้อความที่ดึงออกมาไม่พอดี มันจะถูกตัดแทนที่จะถูกปฏิเสธ และจะมีข้อความปรากฏขึ้นสองแบบ toast จะแสดงว่า ไฟล์แนบของคุณมีขนาดใหญ่เกินไป จึงส่งเฉพาะส่วนแรกไปเท่านั้น กรุณาถามเกี่ยวกับส่วนที่เล็กลงเพื่อให้ครอบคลุมทั้งหมด ส่วนตัวข้อความเองจะมีเครื่องหมาย [ไฟล์แนบถูกตัด: ไฟล์แนบมีขนาดใหญ่กว่าที่หนึ่งข้อความจะรับได้ เนื้อหาหลังจุดนี้จึงไม่ถูกรวมไว้] อยู่ตรงจุดที่ถูกตัด เพื่อให้โมเดลเห็นว่าสำเนาของมันหยุดอยู่ตรงไหน
หากข้อความถูกปฏิเสธแทนที่จะถูกตัด คุณจะได้รับข้อความ message_too_long จากตารางแรก วิธีแก้คือสิ่งที่ข้อผิดพลาดระบุไว้เอง: แนบไฟล์ที่สั้นลง หรือถามทีละส่วน
พฤติกรรมอีกอย่างที่ดูเหมือนการลืม: มีเพียงข้อความล่าสุดของผู้ใช้ที่มีไฟล์แนบเท่านั้นที่ไฟล์แนบจะถูกส่งต่อไปยังโมเดล รูปภาพหรือ PDF ที่คุณแนบไว้เมื่อสิบรอบก่อนจะไม่ถูกส่งซ้ำในทุกรอบถัดไป หากคุณต้องการให้โมเดลดูมันอีกครั้ง ให้แนบมันอีกครั้ง สิ่งที่ Whizi รองรับและวิธีการดึงข้อมูลทำงานอย่างไรอยู่ใน ประเภทไฟล์ที่รองรับ
ข้อสังเกตหนึ่งเรื่องต้นทุน เพราะความยาวเปลี่ยนมูลค่าของแต่ละรอบ บนโหมด Auto ข้อความที่ยาวกว่าประมาณ 6,000 อักขระจะถูกส่งไปยังระดับยาวที่ 4 เครดิต ด้วยเหตุผลว่าข้อความยาวขนาดนั้นน่าจะเป็นเอกสารที่วางลงไปมากกว่าจะเป็นคำถาม ส่วนคำถามสั้น ๆ จะถูกส่งไปยังระดับด่วนที่ 1 เครดิต อัตราเครดิตอยู่ใน เครดิตทำงานอย่างไร
ไฟล์ปักหมุดของโปรเจกต์ถูกคิดรวมในพรอมต์ทุกรอบ
ไฟล์ที่ปักหมุดในโปรเจกต์จะติดไปเป็นข้อความพรอมต์ในทุกรอบของโปรเจกต์นั้น ไม่ใช่แค่ครั้งเดียว ซึ่งเป็นเหตุผลที่รูปภาพถูกกันออกจากประเภทไฟล์ที่ปักหมุดได้โดยตั้งใจ
ขีดจำกัดเป็นของตัวเอง แต่ละไฟล์ที่ปักหมุดมีข้อความที่ดึงออกมาได้สูงสุด 32,000 อักขระ และบล็อกของโปรเจกต์ทั้งหมดถูกจำกัดที่ 120,000 อักขระ จากไฟล์ปักหมุดสูงสุด 10 ไฟล์ คำสั่งกำหนดเองของโปรเจกต์มีความยาวได้สูงสุด 32,000 อักขระ
ไฟล์ปักหมุดและคำสั่งต่าง ๆ จะถูกสร้างขึ้นใหม่ในพรอมต์ทุกรอบของโปรเจกต์นั้น อยู่ในโควตาอินพุตเดียวกันกับบทสนทนา หากแชทในโปรเจกต์ดูเหมือนจะหลุดประเด็นเร็วกว่าแชททั่วไป ให้ลองถอนหมุดไฟล์ที่คุณไม่ได้ถามถึงออก
ถ้าคุณเคยเห็นข้อความแจ้งความยาวบริบทจริง ๆ
นั่นแปลว่ามันมาจากผู้ให้บริการโมเดล ไม่ใช่จาก Whizi และมันมาถึงคุณผ่านทางระบบส่งต่อ ข้อผิดพลาดต้นทางใด ๆ ที่ไม่ใช่การจำกัดอัตราจะถูกส่งกลับเป็น HTTP 502 พร้อมรหัส provider_error โดยมีข้อความจากผู้ให้บริการแนบมาด้วย ถูกตัดให้เหลือไม่เกิน 300 อักขระ เมื่อเนื้อหาข้อผิดพลาดของผู้ให้บริการไม่สามารถแยกวิเคราะห์ได้เลย คุณจะได้ ผู้ให้บริการโมเดลปฏิเสธคำขอนี้ แทน
การปฏิเสธจากผู้ให้บริการเรื่องความยาวจะระบุความยาวบริบทและจำนวนโทเคน ตัวเลขเหล่านั้นคือผู้ให้บริการกำลังนับคำขอของคุณเทียบกับหน้าต่างที่เล็กกว่าโควตาที่ Whizi ส่งไป และนี่คือสิ่งที่ฝ่ายซัพพอร์ตต้องใช้ตรวจสอบพอดี
ไม่มีการตั้งค่าในอินเทอร์เฟซที่เปลี่ยนแปลงเรื่องนี้ได้ ให้สลับไปใช้โมเดลอื่นเพื่อรับคำตอบของคุณ และส่งข้อความที่ได้รับพร้อมตัวเลขทั้งหมดให้ฝ่ายซัพพอร์ต
มีอีกสองข้อความที่คนมักเข้าใจผิดว่าเป็นปัญหาความยาว การสร้างข้อความล้มเหลวระหว่างสตรีม และ สตรีมของโมเดลถูกขัดจังหวะ เป็นข้อผิดพลาดของการเชื่อมต่อระหว่างที่กำลังตอบ ไม่ใช่การปฏิเสธเพราะความยาว ให้ลองใหม่อีกครั้ง ส่วน มีคำขอมากเกินไป กรุณารอสักครู่แล้วลองอีกครั้ง คือการจำกัดอัตราที่ 10 ข้อความต่อนาที ซึ่งก็ไม่เกี่ยวกับความยาวเช่นกัน
- Whizi ไม่มีข้อความแจ้งเตือนขีดจำกัดบริบท มันตัดบทสนทนาอย่างเงียบ ๆ
- โมเดลทุกตัวได้รับโควตาคงที่ 40,000 โทเคนอินพุตและ 20,000 โทเคนเอาต์พุตต่อรอบ
- เอเจนต์ CPA ของแคนาดาเป็นข้อยกเว้นเดียว ได้ 55,000 อินพุตและ 40,000 เอาต์พุต
- หน้าต่างที่ต่ำกว่า 93,000 โทเคนจะลดโควตาลง ไม่เคยเพิ่มขึ้นเลย
- หนึ่งข้อความถูกจำกัดที่ 100,000 อักขระ รวมข้อความที่ดึงจากไฟล์ด้วย
- หนึ่งคำขอบรรทุกประวัติการสนทนาได้สูงสุด 100 ข้อความ
- มีเพียงข้อความล่าสุดที่มีไฟล์แนบเท่านั้นที่ไฟล์แนบจะถูกส่งต่อ
- ไฟล์ที่ปักหมุดในโปรเจกต์จะติดไปเป็นข้อความพรอมต์ในทุกรอบของโปรเจกต์นั้น
- บนโหมด Auto ข้อความที่ยาวกว่าประมาณ 6,000 อักขระจะถูกส่งไปยังระดับยาวที่ 4 เครดิต
- ข้อความที่ระบุความยาวบริบทมาจากผู้ให้บริการ: สลับโมเดลแล้วแจ้งฝ่ายซัพพอร์ต
คำถามที่พบบ่อย
Whizi มีข้อความแจ้งเตือนขีดจำกัดบริบทไหม
ไม่ใช่แบบบริบทโดยตรง ข้อความความยาวที่ Whizi แสดงเป็นการนับจำนวน ไม่ใช่หน้าต่างบริบท: 100,000 อักขระในหนึ่งข้อความ, 100 ข้อความในหนึ่งคำขอ, 32,000 อักขระในพรอมต์ระบบ และ 413 คำขอมีขนาดใหญ่เกินไป สำหรับเนื้อหาคำขอทั้งหมด หากข้อความตรงหน้าคุณระบุจำนวนโทเคนหรือความยาวบริบท นั่นมาถึงคุณผ่านการส่งต่อ 502 จากผู้ให้บริการ และเป็นของผู้ให้บริการโมเดล
ทำไมโมเดลถึงลืมสิ่งที่ฉันพูดไว้ก่อนหน้าในแชท
เพราะมันถูกตัดออกจากคำขอก่อนที่คำขอจะถูกส่งไป แบ็กเอนด์จะตัดประวัติให้เหลือพอดีกับโควตาโทเคนของโมเดลอย่างเงียบ ๆ แทนที่จะปฏิเสธ จึงไม่มีข้อผิดพลาดให้อ่าน และไม่มีการตั้งค่าใดที่ปิดมันได้ วิธีที่ใช้ได้จริงคือเริ่มบทสนทนาใหม่เมื่อเปลี่ยนหัวข้อ
การสลับไปใช้โมเดลที่มีหน้าต่างบริบทใหญ่กว่าจะทำให้ฉันส่งข้อมูลได้มากขึ้นไหม
ไม่ โควตาอินพุตคงที่ที่ 40,000 โทเคนบนโมเดลทุกตัวในแคตตาล็อก ดังนั้นหน้าต่างขนาดหนึ่งล้านโทเคนและหน้าต่างขนาด 200,000 โทเคนจึงได้รับปริมาณบทสนทนาของคุณเท่ากัน
"เกินขีดจำกัด 100,000 อักขระ" หมายความว่าอย่างไร
ข้อความหนึ่งมีความยาวเกินเพดานต่อข้อความที่ 100,000 อักขระ และถูกปฏิเสธด้วย HTTP 400 พร้อมรหัส message_too_long ข้อความที่ดึงออกมาจากไฟล์ PDF, Word หรือสเปรดชีตที่แนบมาก็นับรวมในเพดานเดียวกัน ดังนั้นไฟล์แนบมักเป็นสาเหตุปกติมากกว่าการพิมพ์เอง วิธีแก้อยู่ในข้อความนั้นเอง: แนบไฟล์ที่สั้นลง หรือถามทีละส่วนในบทสนทนาเดียวกัน
"เกินขีดจำกัด 100 ข้อความ" หมายความว่าอย่างไร
คำขอเดียวบรรทุกประวัติการสนทนามากกว่า 100 ข้อความ และถูกปฏิเสธด้วย HTTP 400 พร้อมรหัส too_many_messages นี่คือเพดานของสิ่งที่หนึ่งคำขอจะบรรทุกได้ ไม่ใช่เพดานความยาวของแชท วิธีที่ใช้ได้จริงคือเริ่มบทสนทนาใหม่สำหรับหัวข้อถัดไป ซึ่งยังช่วยให้โมเดลเห็นภาพชัดขึ้นว่าคุณกำลังถามเรื่องอะไร
ฉันจะสรุปเอกสารที่ยาวเกินขีดจำกัดได้อย่างไร
แบ่งเอกสารและทำงานทีละส่วนในบทสนทนาเดียวกัน ซึ่งเป็นสิ่งที่ข้อความ message_too_long แนะนำไว้เอง ขอสรุปแต่ละส่วนก่อน แล้วค่อยขอสรุปของสรุปเหล่านั้นอีกที หากส่วนใดส่วนหนึ่งยังยาวเกิน 100,000 อักขระหลังจากดึงข้อความจากไฟล์แล้ว ให้แบ่งส่วนนั้นย่อยลงไปอีก
ฉันจ่ายเงินเพื่อขอโควตาบริบทที่มากขึ้นได้ไหม
ไม่ได้ โควตาเป็นคุณสมบัติของโมเดลในแคตตาล็อก ไม่ใช่ของแพ็กเกจของคุณ และไม่มีการตั้งค่าใด ๆ ที่จะเพิ่มมันได้ สิ่งที่แพ็กเกจระดับสูงกว่าซื้อได้คือสิทธิ์เข้าถึงโมเดลมากขึ้นและโควตารายเดือนที่มากขึ้น ไม่ใช่พื้นที่ที่มากขึ้นในหนึ่งรอบสนทนา ตารางเทียบแพ็กเกจอยู่ใน ข้อมูลอ้างอิงโมเดล