Conversația sau documentul este prea lung pentru model

Răspunsul scurt

Whizi nu afișează o eroare de limită de context. Niciun text din produs nu menționează o fereastră de context sau o limită de tokeni, pentru că o conversație care depășește capacitatea modelului este trunchiată din mers ca să încapă, în loc să fie refuzată. Nimic nu îți spune că s-a întâmplat. Dacă modelul pare să fi uitat mijlocul unei conversații lungi, exact asta se întâmplă.

Patru lucruri chiar resping cererea direct, și fiecare se identifică singur:

Mesaj	Cod HTTP	Declanșator
This message is {count} characters, over the 100,000 character limit. Attach a shorter file, or ask about one section at a time.	400 message_too_long	Un mesaj, inclusiv textul extras din fișierele tale, depășește 100,000 de caractere
This conversation has {count} messages, over the 100 message limit.	400 too_many_messages	O singură cerere a transportat un istoric de peste 100 de mesaje
Request is too large.	413 request_too_large	Întregul corp de cerere JSON a depășit plafonul de octeți al rutei
That system prompt is missing or over the 32,000 character limit.	400 invalid_system_prompt	Un prompt de sistem de peste 32,000 de caractere

{count} din textul limitei de caractere este completat cu numărul tău real, formatat cu separatori de mii. Codul de lângă fiecare text este ceea ce apare într-o urmărire de rețea, chiar și atunci când interfața îți arată doar propoziția.

Dacă ai văzut un mesaj care numește o lungime de context sau un număr de tokeni, acesta nu a venit de la Whizi. Sari la ultima secțiune.

Bugetul pe care îl primește fiecare model, și ce se întâmplă peste el

Fiecare model din catalog primește același buget pentru o replică: 40,000 de tokeni de intrare și 20,000 de tokeni de ieșire. Agentul canadian CPA este singura excepție, cu 55,000 de tokeni de intrare și 40,000 de tokeni de ieșire.

Când o conversație depășește acest buget, backendul trunchiază istoricul la bugetul de tokeni al modelului, în tăcere, fără să refuze. Nu apare niciun toast, niciun banner și niciun cod de eroare pentru asta.

Numărul de tokeni față de care trunchiază Whizi este o estimare, nu un tokenizator real. Poate subestima un tokenizator real cu până la 1.66 ori pe conținut JSON, așa că se aplică o marjă de 1.8 ori la intrare, ca să acopere cel mai defavorabil caz măsurat.

Trecerea la un model cu context mai mare nu trimite mai mult

Aceasta este cea mai frecventă soluție greșită. Bugetul de 40,000 de tokeni de intrare este fix: este același pe un model cu o fereastră de un milion de tokeni ca și pe un model cu o fereastră de 200,000 de tokeni. Mutarea unei conversații lungi de la un model cu fereastră mare la altul nu schimbă nimic în privința cât de mult se trimite din ea.

Dimensiunea ferestrei de context schimbă bugetul doar într-o singură direcție, în jos. Orice model a cărui fereastră se situează sub 93,000 de tokeni primește un buget mai mic, proporțional, în loc de cel fix, cu ieșirea plafonată la 40 la sută din fereastră și o marjă de siguranță de 1,000 de tokeni reținută. 31 de modele din catalog sunt limitate astfel, iar cea mai mică fereastră dintre ele este de 6,144 de tokeni.

Așadar comutatorul care chiar ajută este opusul celui pe care îl încearcă oamenii: mutarea de pe un model mic, limitat, pe unul obișnuit. Mutarea între două modele cu fereastră mare este o schimbare fără niciun efect asupra lungimii. Cum se comportă schimbarea modelului în timpul conversației este descris în schimbarea modelelor în timpul conversației.

Un detaliu din spatele cifrei de 93,000, util de știut dacă încerci să înțelegi de ce un model a refuzat ceva mic: OpenRouter numără intrarea plus ieșirea maximă cerută față de fereastra unui model, nu doar intrarea.

Un fișier lung încărcat este tăiat, și ți se spune

Fișierele încărcate sunt de obicei motivul pentru care un singur mesaj depășește 100,000 de caractere, pentru că fișierele PDF, Word și de calcul tabelar sunt extrase în text în browserul tău, iar acel text contează în aceeași limită ca orice ai scris.

Când textul extras nu încape, este trunchiat în loc să fie refuzat, și apar două texte. Toastul spune Your upload was too large, so only the first part of it was sent. Ask about a smaller section for full coverage. Mesajul însuși poartă marcajul [Attachment truncated: the upload was larger than one message can carry, so the content past this point was not included.] la locul tăieturii, ca modelul să poată vedea unde se oprește copia sa.

Dacă mesajul este refuzat în loc să fie trunchiat, primești textul message_too_long din primul tabel. Soluția este exact cea numită de eroare: atașează un fișier mai scurt, sau întreabă despre o secțiune pe rând.

Un alt comportament care pare a fi uitare: doar cel mai recent mesaj de utilizator care poartă atașamente are atașamentele trimise mai departe modelului. O imagine sau un PDF atașat cu zece replici în urmă nu este retrimis la fiecare replică ulterioară. Dacă ai nevoie ca modelul să se uite din nou la el, atașează-l din nou. Ce acceptă Whizi și cum funcționează extragerea este descris în tipurile de fișiere acceptate.

O notă despre cost, pentru că lungimea schimbă valoarea unei replici. Pe Auto, un mesaj de peste aproximativ 6,000 de caractere este direcționat spre nivelul de lungă durată la 4 credite, pe considerentul că un mesaj atât de lung este un document lipit, nu o întrebare. O întrebare scurtă este direcționată spre nivelul rapid la 1 credit. Scala de credite este descrisă în cum funcționează creditele.

Fișierele de proiect fixate sunt taxate la prompt la fiecare replică

Un fișier de proiect fixat merge alături ca text de prompt la fiecare replică din acel proiect, nu doar o dată, motiv pentru care imaginile sunt excluse deliberat din tipurile de fișiere care pot fi fixate.

Limitele sunt proprii: fiecare fișier fixat contribuie cu cel mult 32,000 de caractere de text extras, iar întregul bloc de proiect este plafonat la 120,000 de caractere, pe cel mult 10 fișiere fixate. Instrucțiunile personalizate ale proiectului pot avea până la 32,000 de caractere.

Fișierele fixate și instrucțiunile sunt reconstruite în prompt la fiecare replică din acel proiect, în interiorul aceluiași buget de intrare ca și conversația. Dacă un chat de proiect pare să piardă firul mai repede decât unul obișnuit, defixează fișierele despre care nu întrebi.

Dacă ai văzut totuși o eroare de lungime de context

Atunci a venit de la furnizorul modelului, nu de la Whizi, și a ajuns la tine prin transmiterea directă. Orice eșec din amonte care nu este o limită de rată este returnat ca HTTP 502 cu codul provider_error, purtând mesajul furnizorului, trunchiat la 300 de caractere. Când corpul erorii furnizorului nu poate fi analizat deloc, primești în schimb The model provider rejected the request.

Un refuz al furnizorului legat de lungime va numi o lungime de context și un număr de tokeni. Acele numere sunt furnizorul numărând cererea ta față de o fereastră mai mică decât bugetul trimis de Whizi, și sunt exact ceea ce are nevoie suportul ca să analizeze problema.

Nicio setare din interfață nu schimbă asta. Treci la alt model ca să obții răspunsul, și trimite suportului mesajul exact, inclusiv numerele.

Încă două texte pe care oamenii le confundă cu o problemă de lungime. Generation failed mid-stream. și The model stream was interrupted. sunt eșecuri de conexiune la mijlocul unui răspuns, nu refuzuri de lungime. Reîncearcă la acestea. Too many requests. Please wait and try again. este o limită de rată de 10 mesaje pe minut, care de asemenea nu are nicio legătură cu lungimea.