Sohbet ya da belge model için çok uzun

Kısa cevap

Whizi bir bağlam sınırı hatası göstermez. Üründeki hiçbir metin bağlam penceresinden ya da token sınırından söz etmez, çünkü modelin sınırını aşan bir sohbet reddedilmek yerine istek gönderilmeden önce sığdırılacak şekilde kırpılır. Hiçbir şey bunun olduğunu size söylemez. Model uzun bir sohbetin ortasını unutmuş gibi görünüyorsa, gördüğünüz şey tam olarak budur.

Dört şey ise sizi doğrudan reddeder ve her biri kendini isimlendirir:

Mesaj	HTTP kodu	Tetikleyici
This message is {count} characters, over the 100,000 character limit. Attach a shorter file, or ask about one section at a time.	400 message_too_long	Dosyalarınızdan çıkarılan metin dahil, tek bir mesaj 100.000 karakterin üzerinde
This conversation has {count} messages, over the 100 message limit.	400 too_many_messages	Tek bir istek 100 mesajdan fazla bir dökümü taşıdı
Request is too large.	413 request_too_large	Tüm JSON istek gövdesi rota bayt sınırını aştı
That system prompt is missing or over the 32,000 character limit.	400 invalid_system_prompt	32.000 karakterin üzerinde bir sistem istemi

Karakter sınırı metnindeki {count}, binlik ayırıcılarla biçimlendirilmiş gerçek sayınızla doldurulur. Her metnin yanındaki kod, arayüz size yalnızca cümleyi gösterse bile bir ağ izinde görünen şeydir.

Bir bağlam uzunluğu ya da token sayısı belirten bir mesaj gördüyseniz, bu Whizi'den gelmemiştir. Son bölüme geçin.

Her modelin aldığı bütçe ve onu aştığında olan

Kataloğdaki her model, tek bir tur için aynı bütçeyi alır: 40.000 giriş token'ı ve 20.000 çıkış token'ı. Kanada CPA ajanı tek istisnadır, 55.000 giriş token'ı ve 40.000 çıkış token'ı ile.

Bir sohbet bu bütçeyi aştığında, arka uç geçmişi reddetmek yerine sessizce model token bütçesine kırpar. Bunun için ne bir toast, ne bir banner, ne de bir hata kodu vardır.

Whizi'nin karşılaştırdığı token sayısı gerçek bir belirteçleyici değil, bir tahmindir. JSON üzerinde gerçek bir belirteçleyiciyi 1,66 kata kadar az sayabilir, bu yüzden en kötü ölçülen durumu karşılamak için girişe 1,8 katlık bir pay uygulanır.

Daha büyük bağlam pencereli bir modele geçmek daha fazla göndermez

Bu, en yaygın yanlış çözümdür. 40.000 tokenlik giriş bütçesi sabittir: bir milyon tokenlik pencereye sahip bir modelde de 200.000 tokenlik pencereye sahip bir modelde de aynıdır. Uzun bir sohbeti büyük pencereli bir modelden başka bir büyük pencereli modele taşımak, gönderilen miktarda hiçbir şeyi değiştirmez.

Bağlam penceresi boyutu bütçeyi yalnızca bir yönde, aşağı doğru değiştirir. Penceresi 93.000 tokenin altında kalan herhangi bir model, sabit bütçe yerine daha küçük, orantılı bir bütçe alır; çıkış pencerenin yüzde 40'ıyla sınırlanır ve 1.000 tokenlik bir güvenlik payı ayrılır. Kataloğdaki 31 model bu şekilde sınırlandırılmıştır ve aralarındaki en küçük pencere 6.144 tokendir.

Yani gerçekten işe yarayan değişiklik, insanların denediğinin tam tersidir: küçük, sınırlandırılmış bir modelden sıradan bir modele geçmek. İki büyük pencereli model arasında geçiş yapmak, uzunluk üzerinde hiçbir etkisi olmayan bir değişikliktir. Sohbet ortasında model değiştirmenin nasıl davrandığı sohbet ortasında model değiştirme sayfasında anlatılıyor.

93.000 rakamının arkasındaki bir ayrıntı, bir modelin neden küçük bir şeyi reddettiğini düşünüyorsanız bilmeye değer: OpenRouter, yalnızca girişi değil, girişi artı istenen azami çıkışı bir model penceresine karşı sayar.

Uzun bir yükleme kesilir ve size bunu söyler

Yüklemeler, tek bir mesajın 100.000 karakteri aşmasının en olağan nedenidir, çünkü PDF, Word ve elektronik tablo dosyaları tarayıcınızda metne dönüştürülür ve bu metin, yazdığınız her şeyle aynı sınıra karşı sayılır.

Çıkarılan metin sığmadığında, reddedilmek yerine kırpılır ve iki metin görünür. Toast şunu okur: Your upload was too large, so only the first part of it was sent. Ask about a smaller section for full coverage. Mesajın kendisi kesim noktasında [Attachment truncated: the upload was larger than one message can carry, so the content past this point was not included.] işaretini taşır, böylece model kendi kopyasının nerede durduğunu görebilir.

Mesaj kırpılmak yerine reddedilirse, ilk tablodaki message_too_long metnini alırsınız. Çözüm, hatanın kendisinin isimlendirdiği çözümdür: daha kısa bir dosya ekleyin ya da her seferinde bir bölüm hakkında sorun.

Unutma gibi okunan bir davranış daha: yalnızca ek taşıyan en son kullanıcı mesajının ekleri modele iletilir. On tur önce eklediğiniz bir görsel ya da PDF, sonraki her turda yeniden gönderilmez. Modelin ona tekrar bakmasını istiyorsanız, yeniden ekleyin. Whizi'nin neyi kabul ettiği ve çıkarmanın nasıl çalıştığı desteklenen dosya türleri sayfasında.

Bir maliyet notu, çünkü uzunluk bir turun değerini değiştirir. Auto'da, yaklaşık 6.000 karakterin üzerindeki bir mesaj, o kadar uzun bir mesajın bir soru değil yapıştırılmış bir belge olduğu mantığıyla 4 kredilik uzun biçim basamağına yönlendirilir. Kısa bir soru, 1 kredilik hızlı basamağa yönlendirilir. Kredi ölçeği kredilerin nasıl çalıştığı sayfasında.

Sabitlenmiş proje dosyaları her turda istemden ücretlendirilir

Sabitlenmiş bir proje dosyası, bir kez değil, o projedeki her turda istem metni olarak yolculuk eder. Bu yüzden görseller sabitlenmiş dosya türlerinden bilerek dışlanmıştır.

Sınırlar kendine özgüdür: her sabitlenmiş dosya en fazla 32.000 karakterlik çıkarılmış metin katkısında bulunur ve tüm proje bloğu, en fazla 10 sabitlenmiş dosya arasında toplam 120.000 karakterle sınırlıdır. Proje özel talimatları en fazla 32.000 karakter olabilir.

Sabitlenmiş dosyalar ve talimatlar, o projedeki her turda, sohbetle aynı giriş bütçesi içinde istem içine yeniden inşa edilir. Bir proje sohbeti sıradan bir sohbetten daha hızlı konuyu kaybediyor gibi görünüyorsa, hakkında soru sormadığınız dosyaların sabitlemesini kaldırın.

Gerçekten bir bağlam uzunluğu hatası gördüyseniz

O zaman bu, Whizi'den değil, model sağlayıcısından gelmiştir ve size geçiş yoluyla ulaşmıştır. Hız sınırı olmayan herhangi bir yukarı akış hatası, sağlayıcı mesajını taşıyarak, 300 karaktere kırpılmış şekilde provider_error koduyla HTTP 502 olarak döndürülür. Sağlayıcı hata gövdesi hiç ayrıştırılamadığında, bunun yerine The model provider rejected the request. alırsınız.

Uzunluk üzerine bir sağlayıcı reddi, bir bağlam uzunluğu ve bir token sayısı isimlendirecektir. Bu sayılar, sağlayıcının isteğinizi Whizi'nin gönderdiği bütçeden daha küçük bir pencereye karşı saymasıdır ve desteğin bakması gereken tam olarak budur.

Hiçbir arayüz ayarı bunu değiştirmez. Cevabınızı almak için başka bir modele geçin ve desteğe sayılar dahil tam mesajı gönderin.

İnsanların bir uzunluk sorunuyla karıştırdığı iki metin daha. Generation failed mid-stream. ve The model stream was interrupted. bir yanıtın ortasındaki bağlantı hatalarıdır, uzunluk reddi değildir. Bunları yeniden deneyin. Too many requests. Please wait and try again. dakikada 10 mesajlık bir hız sınırıdır ve uzunlukla da hiçbir ilgisi yoktur.