Whizi에서 대화나 문서가 컨텍스트를 초과할 때 생기는 일

간단한 답

Whizi는 컨텍스트 제한 오류를 표시하지 않습니다. 제품 안 어디에도 컨텍스트 윈도우나 토큰 제한을 언급하는 문구는 없습니다. 모델이 감당할 수 없을 만큼 길어진 대화는 요청이 전송되기 전에 거부되는 대신 맞춰서 잘리기 때문입니다. 그 일이 일어났다는 사실을 알려주는 것은 아무것도 없습니다. 모델이 긴 대화의 중간 부분을 잊어버린 것처럼 보인다면, 바로 이 현상을 보고 있는 것입니다.

다만 다음 네 가지는 실제로 요청을 거부하며, 각각 스스로 이름을 밝힙니다:

메시지	HTTP 코드	트리거
This message is {count} characters, over the 100,000 character limit. Attach a shorter file, or ask about one section at a time.	400 message_too_long	파일에서 추출된 텍스트를 포함해 메시지 하나가 100,000자를 초과함
This conversation has {count} messages, over the 100 message limit.	400 too_many_messages	하나의 요청에 담긴 대화 기록이 100개 메시지를 초과함
Request is too large.	413 request_too_large	JSON 요청 본문 전체가 라우트의 바이트 상한을 초과함
That system prompt is missing or over the 32,000 character limit.	400 invalid_system_prompt	시스템 프롬프트가 32,000자를 초과함

문자 제한 문구 속 {count}에는 천 단위 구분 기호가 포함된 실제 숫자가 채워집니다. 각 문구 옆의 코드는 인터페이스에 문장만 보이는 경우에도 네트워크 트레이스에는 그대로 나타납니다.

컨텍스트 길이나 토큰 수를 언급하는 메시지를 보았다면, 그것은 Whizi에서 나온 것이 아닙니다. 마지막 섹션으로 건너뛰세요.

모든 모델이 받는 예산과 그 이후 벌어지는 일

카탈로그의 모든 모델은 한 턴에 동일한 예산을 받습니다: 입력 토큰 40,000개와 출력 토큰 20,000개입니다. 캐나다 CPA 에이전트만 유일한 예외로, 입력 토큰 55,000개와 출력 토큰 40,000개를 받습니다.

대화가 이 예산을 넘어가면 백엔드는 거부하는 대신 조용히 대화 기록을 모델 토큰 예산에 맞춰 잘라냅니다. 이에 대한 토스트도, 배너도, 오류 코드도 없습니다.

Whizi가 자르는 기준이 되는 토큰 수는 실제 토크나이저가 아니라 추정치입니다. JSON에서는 실제 토크나이저보다 최대 1.66배까지 적게 계산될 수 있어서, 측정된 최악의 경우를 감당하기 위해 입력에 1.8배의 여유치가 적용됩니다.

더 큰 컨텍스트 모델로 바꿔도 더 많이 보낼 수 있는 것은 아닙니다

이것이 가장 흔한 잘못된 해결책입니다. 입력 토큰 예산 40,000개는 고정값입니다. 윈도우가 100만 토큰인 모델에서도, 20만 토큰인 모델에서도 동일합니다. 긴 대화를 한 대형 윈도우 모델에서 다른 대형 윈도우 모델로 옮겨도 실제로 전송되는 양은 전혀 달라지지 않습니다.

컨텍스트 윈도우 크기는 한 방향으로만 예산을 바꿉니다. 바로 아래쪽입니다. 윈도우가 93,000토큰 미만인 모델은 고정 예산 대신 그에 비례한 더 작은 예산을 받으며, 출력은 윈도우의 40퍼센트로 제한되고 1,000토큰의 안전 여유분이 따로 빠집니다. 카탈로그에서 이런 식으로 제한되는 모델은 31개이고, 그중 가장 작은 윈도우는 6,144토큰입니다.

그러니 실제로 도움이 되는 전환은 사람들이 흔히 시도하는 것과 정반대입니다: 작고 제한된 모델에서 벗어나 평범한 모델로 옮기는 것입니다. 두 대형 윈도우 모델 사이를 오가는 것은 길이에 아무 영향도 없는 변화일 뿐입니다. 대화 중간에 모델을 바꿀 때 어떤 일이 벌어지는지는 대화 중 모델 전환하기에서 다룹니다.

93,000이라는 숫자의 배경 하나는, 왜 작은 모델이 사소한 것까지 거부했는지 따져볼 때 알아둘 만합니다: OpenRouter는 모델 윈도우를 계산할 때 입력만이 아니라 입력에 요청된 최대 출력을 더한 값을 기준으로 삼습니다.

긴 업로드는 잘리고, 잘렸다는 사실을 알려줍니다

업로드는 메시지 하나가 100,000자를 넘는 가장 흔한 이유입니다. PDF, Word, 스프레드시트 파일은 브라우저에서 텍스트로 추출되고, 그 텍스트는 직접 입력한 것과 같은 상한에 포함되기 때문입니다.

추출된 텍스트가 들어가지 않으면 거부되는 대신 잘리며, 두 개의 문구가 나타납니다. 토스트에는 Your upload was too large, so only the first part of it was sent. Ask about a smaller section for full coverage.라고 표시됩니다. 메시지 자체에는 잘린 지점에 [Attachment truncated: the upload was larger than one message can carry, so the content past this point was not included.]라는 표시가 남아, 모델이 자기 사본이 어디서 끊겼는지 알 수 있게 합니다.

잘리는 대신 메시지 자체가 거부된다면, 첫 번째 표에 나온 message_too_long 문구를 받게 됩니다. 해결책은 오류 문구가 직접 말해주는 그대로입니다: 더 짧은 파일을 첨부하거나, 한 번에 한 섹션씩 물어보세요.

잊어버린 것처럼 보이는 또 다른 동작이 있습니다: 첨부파일이 딸린 메시지 중 가장 최근 것만 모델로 첨부파일이 전달됩니다. 열 턴 전에 첨부한 이미지나 PDF는 이후 모든 턴에서 다시 전송되지 않습니다. 모델이 그것을 다시 봐야 한다면 다시 첨부해야 합니다. Whizi가 무엇을 받아들이고 추출이 어떻게 동작하는지는 지원되는 파일 형식에 있습니다.

길이가 한 턴의 가치를 바꾸므로 비용에 관해서도 한 가지 짚어둘 점이 있습니다. Auto에서는 약 6,000자를 넘는 메시지가 4크레딧짜리 장문 등급으로 라우팅되는데, 그 정도 길이라면 질문이라기보다 붙여넣은 문서라고 보기 때문입니다. 짧은 질문은 1크레딧짜리 빠른 등급으로 라우팅됩니다. 크레딧 체계는 크레딧이 작동하는 방식에 있습니다.

고정된 프로젝트 파일은 매 턴마다 프롬프트에 과금됩니다

프로젝트에 고정된 파일은 한 번이 아니라 그 프로젝트의 모든 턴에서 프롬프트 텍스트로 매번 실려갑니다. 이 때문에 이미지는 고정 가능한 파일 형식에서 의도적으로 제외되어 있습니다.

상한은 별도로 정해져 있습니다: 고정된 파일 하나당 추출된 텍스트가 최대 32,000자까지 허용되고, 프로젝트 블록 전체는 최대 10개의 고정 파일에 걸쳐 120,000자로 제한됩니다. 프로젝트의 사용자 지정 지침은 최대 32,000자까지 가능합니다.

고정된 파일과 지침은 그 프로젝트의 모든 턴에서, 대화와 같은 입력 예산 안에서 다시 프롬프트에 포함됩니다. 프로젝트 채팅이 일반 채팅보다 흐름을 빨리 놓치는 것 같다면, 지금 묻고 있지 않은 파일의 고정을 해제하세요.

실제로 컨텍스트 길이 오류를 본 경우

그렇다면 그것은 Whizi가 아니라 모델 제공업체에서 온 것이며, 패스스루를 거쳐 도달한 것입니다. 속도 제한이 아닌 업스트림 실패는 모두 HTTP 502에 provider_error 코드로 반환되며, 제공업체 메시지가 300자로 잘려 함께 담깁니다. 제공업체 오류 본문을 아예 파싱할 수 없을 때는 대신 The model provider rejected the request.를 받게 됩니다.

길이에 관한 제공업체 거부는 컨텍스트 길이와 토큰 수를 언급합니다. 이 숫자들은 제공업체가 Whizi가 보낸 예산보다 더 작은 윈도우를 기준으로 요청을 계산한 결과이며, 지원팀이 확인해야 할 바로 그 숫자입니다.

인터페이스의 어떤 설정도 이것을 바꾸지 못합니다. 다른 모델로 바꿔서 답을 얻고, 숫자를 포함한 정확한 메시지를 지원팀에 보내세요.

사람들이 길이 문제로 착각하는 두 가지 문구가 더 있습니다. Generation failed mid-stream.와 The model stream was interrupted.는 답변 도중 연결이 끊긴 것이지 길이 거부가 아닙니다. 이런 경우는 다시 시도하세요. Too many requests. Please wait and try again.는 분당 10개 메시지라는 속도 제한이며, 이 역시 길이와는 무관합니다.