התשובה הקצרה
Whizi לא מציגה שגיאת מגבלת קונטקסט. אין מחרוזת במוצר שמזכירה חלון קונטקסט או מגבלת טוקנים, כי שיחה שגדלה מעבר למודל נחתכת כדי להתאים לפני שהבקשה נשלחת, במקום להידחות. שום דבר לא מודיע שזה קרה. אם נראה שהמודל שכח את האמצע של שיחה ארוכה, זה מה שאתם רואים.
ארבעה דברים כן דוחים אתכם על הסף, וכל אחד מהם מזוהה בשמו:
| הודעה | קוד HTTP | טריגר |
|---|---|---|
This message is {count} characters, over the 100,000 character limit. Attach a shorter file, or ask about one section at a time. | 400 message_too_long | הודעה אחת, כולל טקסט שחולץ מהקבצים שלכם, עוברת 100,000 תווים |
This conversation has {count} messages, over the 100 message limit. | 400 too_many_messages | בקשה אחת נשאה תמליל של יותר מ-100 הודעות |
Request is too large. | 413 request_too_large | גוף בקשת ה-JSON כולו עבר את מגבלת הבייטים של הנתיב |
That system prompt is missing or over the 32,000 character limit. | 400 invalid_system_prompt | הנחיית מערכת שעברה 32,000 תווים |
ה-{count} במחרוזת מגבלת התווים מתמלא במספר האמיתי שלכם, מעוצב עם מפרידי אלפים. הקוד לצד כל מחרוזת הוא מה שמופיע במעקב רשת, גם כשהממשק מציג לכם רק את המשפט.
אם ראיתם הודעה שמציינת אורך קונטקסט או ספירת טוקנים, היא לא הגיעה מ-Whizi. עברו לקטע האחרון.
התקציב שכל מודל מקבל, ומה קורה מעברו
כל מודל בקטלוג מקבל את אותו התקציב לתור אחד: 40,000 טוקני קלט ו-20,000 טוקני פלט. סוכן ה-CPA הקנדי הוא החריג היחיד, ב-55,000 טוקני קלט ו-40,000 טוקני פלט.
כששיחה עוברת את התקציב הזה, השרת קוצץ את ההיסטוריה לתקציב הטוקנים של המודל בשקט, במקום לדחות. אין התראה, אין באנר ואין קוד שגיאה בשביל זה.
ספירת הטוקנים ש-Whizi קוצצת לפיה היא הערכה ולא טוקנייזר אמיתי. היא יכולה להעריך בחסר לעומת טוקנייזר אמיתי עד פי 1.66 ב-JSON, אז מוחל מרווח של פי 1.8 על הקלט כדי לכסות את המקרה הגרוע ביותר שנמדד.
מעבר למודל עם חלון קונטקסט גדול יותר לא שולח יותר
זה התיקון השגוי הנפוץ ביותר. תקציב הקלט של 40,000 טוקנים הוא שטוח: הוא זהה במודל עם חלון של מיליון טוקנים ובמודל עם חלון של 200,000 טוקנים. מעבר עם שיחה ארוכה ממודל חלון גדול אחד לאחר לא משנה כלום בכמה ממנה נשלח.
גודל חלון הקונטקסט משנה את התקציב בכיוון אחד בלבד, כלפי מטה. כל מודל שהחלון שלו נמוך מ-93,000 טוקנים מקבל תקציב קטן יותר ופרופורציוני במקום התקציב השטוח, עם פלט מוגבל ל-40 אחוז מהחלון ומרווח ביטחון של 1,000 טוקנים שמוחזק בצד. 31 מודלים בקטלוג מוגבלים בדרך הזו, והחלון הקטן ביותר בהם הוא 6,144 טוקנים.
אז המתג שבאמת עוזר הוא ההפך מזה שאנשים מנסים: לעבור ממודל קטן ומוגבל למודל רגיל. מעבר בין שני מודלי חלון גדול הוא שינוי בלי שום השפעה על האורך. איך התנהגות מעבר באמצע שיחה עובדת מכוסה במעבר מודלים באמצע שיחה.
פרט אחד מאחורי המספר 93,000, שכדאי לדעת אם אתם חושבים על הסיבה שמודל דחה משהו קטן: OpenRouter סופרת קלט בתוספת הפלט המקסימלי המבוקש מול חלון המודל, לא קלט בלבד.
העלאה ארוכה נחתכת, וזה מודיע לכם
העלאות הן הסיבה הרגילה שהודעה אחת עוברת 100,000 תווים, כי קבצי PDF, Word וגיליונות אלקטרוניים מחולצים לטקסט בדפדפן שלכם, והטקסט הזה נספר מול אותה מגבלה כמו כל דבר שהקלדתם.
כשהטקסט המחולץ לא מתאים, הוא נחתך במקום להידחות, ושתי מחרוזות מופיעות. ההתראה קוראת Your upload was too large, so only the first part of it was sent. Ask about a smaller section for full coverage. ההודעה עצמה נושאת את הסימון [Attachment truncated: the upload was larger than one message can carry, so the content past this point was not included.] בנקודת החיתוך, כדי שהמודל יראה איפה העותק שלו נגמר.
אם ההודעה נדחית במקום להיחתך, אתם מקבלים את מחרוזת message_too_long מהטבלה הראשונה. התיקון הוא זה שהשגיאה עצמה מציינת: צרפו קובץ קצר יותר, או שאלו על קטע אחד בכל פעם.
עוד התנהגות אחת שנראית כשכחה: רק ההודעה האחרונה של המשתמש שנושאת קבצים מצורפים מעבירה את הקבצים המצורפים שלה למודל. תמונה או PDF שצירפתם עשרה תורים קודם לא נשלחים מחדש בכל תור עוקב. אם אתם צריכים שהמודל יראה אותם שוב, צרפו אותם שוב. מה ש-Whizi מקבלת ואיך החילוץ עובד מפורט בסוגי קבצים נתמכים.
הערה אחת על עלות, כיוון שהאורך משנה את השווי של תור. במצב Auto, הודעה שעוברת בערך 6,000 תווים מנותבת למדרגה הארוכה ב-4 קרדיטים, מהנחה שהודעה באורך כזה היא מסמך שהודבק ולא שאלה. שאלה קצרה מנותבת למדרגה המהירה בקרדיט אחד. סולם הקרדיטים נמצא באיך עובדים הקרדיטים.
קבצי פרויקט נעוצים נטענים בעלות על ההנחיה בכל תור
קובץ פרויקט נעוץ נוסע כטקסט הנחיה בכל תור בודד באותו פרויקט ולא פעם אחת, וזו הסיבה שתמונות מוחרגות בכוונה מסוגי הקבצים הנעוצים.
המגבלות שלהם עצמאיות: כל קובץ נעוץ תורם עד 32,000 תווים של טקסט מחולץ, וכל בלוק הפרויקט מוגבל ל-120,000 תווים, על פני עד 10 קבצים נעוצים. הנחיות מותאמות של פרויקט יכולות להיות עד 32,000 תווים.
קבצים נעוצים והנחיות נבנים מחדש בהנחיה בכל תור באותו פרויקט, בתוך אותו תקציב קלט כמו השיחה. אם צאט של פרויקט נראה כאילו מאבד את החוט מהר יותר מצאט רגיל, בטלו נעיצה של הקבצים שאתם לא שואלים עליהם.
אם באמת ראיתם שגיאת אורך קונטקסט
אז היא הגיעה מספק המודל, לא מ-Whizi, והיא הגיעה אליכם דרך ההעברה הישירה. כל כשל בצד הספק שאינו מגבלת קצב מוחזר כ-HTTP 502 עם הקוד provider_error, נושא את הודעת הספק, חתוכה ל-300 תווים. כשגוף שגיאת הספק לא ניתן לפענוח בכלל, אתם מקבלים The model provider rejected the request. במקום זה.
דחייה מצד הספק על אורך תזהה אורך קונטקסט וספירת טוקנים. המספרים האלה הם הספק שסופר את הבקשה שלכם מול חלון קטן יותר מהתקציב ש-Whizi שלחה, והם בדיוק מה שהתמיכה צריכה כדי לבדוק את זה.
שום הגדרת ממשק לא משנה את זה. עברו למודל אחר כדי לקבל את התשובה שלכם, ושלחו לתמיכה את ההודעה המדויקת כולל המספרים.
עוד שתי מחרוזות שאנשים מתבלבלים בהן כבעיית אורך. Generation failed mid-stream. ו-The model stream was interrupted. הן כשלי חיבור באמצע תשובה, לא דחיות אורך. נסו שוב את אלה. Too many requests. Please wait and try again. היא מגבלת קצב של 10 הודעות בדקה, שגם לה אין קשר לאורך.
- ל-Whizi אין שגיאת מגבלת קונטקסט: היא קוצצת את השיחה בשקט
- כל מודל מקבל תקציב שטוח של 40,000 קלט ו-20,000 פלט טוקנים לתור
- סוכן ה-CPA הקנדי הוא החריג היחיד, ב-55,000 קלט ו-40,000 פלט
- חלון מתחת ל-93,000 טוקנים מוריד את התקציב הזה, הוא לעולם לא מעלה אותו
- הודעה אחת מוגבלת ל-100,000 תווים, כולל טקסט קובץ מחולץ
- בקשה אחת נושאת עד 100 הודעות של תמליל
- רק ההודעה האחרונה שנושאת קובץ מצורף מעבירה את הקבצים המצורפים שלה
- קובץ פרויקט נעוץ נוסע כטקסט הנחיה בכל תור באותו פרויקט
- במצב Auto, הודעה שעוברת בערך 6,000 תווים מנותבת למדרגה הארוכה ב-4 קרדיטים
- הודעה שמציינת אורך קונטקסט הגיעה מהספק: עברו מודל וספרו לתמיכה
שאלות נפוצות
יש ל-Whizi שגיאת מגבלת קונטקסט?
לא של קונטקסט. הודעות האורך ש-Whizi כן מציגה הן ספירות, לא חלונות: 100,000 תווים בהודעה אחת, 100 הודעות בבקשה אחת, 32,000 תווים בהנחיית מערכת, ו-413 Request is too large. על כל גוף הבקשה. אם ההודעה שלפניכם מציינת ספירת טוקנים או אורך קונטקסט, היא הגיעה אליכם דרך ההעברה הישירה של שגיאת 502 ושייכת לספק המודל.
למה המודל שכח משהו שאמרתי קודם בשיחה?
כי זה נחתך מהבקשה לפני שהבקשה נשלחה. השרת קוצץ את ההיסטוריה לתקציב הטוקנים של המודל בשקט במקום לדחות, אז אין שגיאה לקרוא ואין הגדרה שמכבה את זה. פתיחת שיחה חדשה כשהנושא משתנה היא התשובה המעשית.
מעבר למודל עם חלון קונטקסט גדול יותר יאפשר לי לשלוח יותר?
לא. תקציב הקלט הוא 40,000 טוקנים שטוח על כל מודל בקטלוג, אז חלון של מיליון טוקנים וחלון של 200,000 טוקנים מקבלים את אותה כמות מהשיחה שלכם.
מה המשמעות של "over the 100,000 character limit"?
הודעה אחת עברה את המגבלה להודעה של 100,000 תווים ונדחתה עם HTTP 400 והקוד message_too_long. טקסט שחולץ מ-PDF, קובץ Word או גיליון אלקטרוני מצורף נספר מול אותה מגבלה, אז העלאה היא הסיבה הרגילה ולא הקלדה. התיקון נמצא בהודעה עצמה: צרפו קובץ קצר יותר, או שאלו על קטע אחד בכל פעם באותה שיחה.
מה המשמעות של "over the 100 message limit"?
בקשה אחת נשאה תמליל של יותר מ-100 הודעות, ונדחתה עם HTTP 400 והקוד too_many_messages. זו מגבלה על מה שבקשה אחת יכולה לשאת, לא מגבלה על אורך הצאט. פתיחת שיחה חדשה לנושא הבא היא התשובה המעשית, וגם נותנת למודל תמונה נקייה יותר של מה שאתם שואלים עליו.
איך אני מסכם מסמך שארוך מהמגבלה?
פצלו אותו ועבדו קטע אחר קטע באותה שיחה, וזה בדיוק מה שמחרוזת message_too_long עצמה מייעצת. בקשו סיכום של כל קטע, ואז סיכום של הסיכומים האלה. אם קטע בודד עדיין עובר 100,000 תווים לאחר שהטקסט שלו חולץ, פצלו את הקטע הזה שוב.
אפשר לשלם על תקציב קונטקסט גדול יותר?
לא. התקציב הוא מאפיין של המודל בקטלוג ולא של התוכנית שלכם, ואין שום הגדרה בשום מקום שמעלה אותו. מה שתוכנית גבוהה יותר קונה הוא גישה למודלים נוספים ומכסה חודשית גדולה יותר, לא יותר מקום בתור אחד. מפת התוכניות נמצאת במפרט המודלים.