Bağlam penceresi nedir? Her şeyi açıklayan yapay zeka sınırı

Sade açıklama

Bağlam penceresi, bir modelin aynı anda görüş alanında tutabildiği toplam metin miktarıdır. Modelin o anki sohbetin hakkında bildiği her şey bunun içine sığmak zorundadır: talimatların, ikinizin gönderdiği her mesaj, yüklediğin her dosya ve yazmak üzere olduğu yanıt.

İşe yarar bir zihinsel görüntü: modelin sohbetinize dair hiçbir hafızası yoktur. Her mesaj gönderdiğinde o ana kadarki sohbetin tamamı ona sıfırdan verilir, hepsini okur ve sıradaki yanıtı yazar. Bağlam penceresi, bu dökümün üstüne sığması gereken masanın boyutudur. Masa dolduğunda bir şeyin oradan inmesi gerekir.

Bu yüzden bir yapay zeka yirmi mesaj boyunca çok zeki görünüp sonra kendi kendisiyle çelişmeye, en başta koyduğun bir kısıtı unutmaya ya da sana zaten verdiğin bir dosyayı yeniden sormaya başlayabilir. Kafası karışmadı. Sohbetin ilk bölümü masadan kaydı.

Baştan netleştirilmesi gereken bir ayrım var, çünkü çok kafa karıştırıyor: bağlam penceresi hafızayla aynı şey değildir. ChatGPT ve Claude gibi ürünlerde, senin hakkındaki bilgileri sohbetler arasında saklayan ve yenilerine sessizce ekleyen ayrı bir hafıza özelliği var. O, modelin üstüne inşa edilmiş bir ürün özelliği. Bağlam penceresi ise modelin kendisine ait katı bir özellik ve hiçbir hafıza özelliği onu büyütmez.

Token ve nasıl tahmin edilir

Bağlam pencereleri kelimeyle değil tokenla ölçülür, çünkü modeller kelime okumaz. Parça okur: yaygın kelimeler genelde tek token olur, uzun ya da alışılmadık kelimeler birkaç parçaya bölünür, noktalama işaretleri ve boşluklar da sayılır.

Akılda tutmaya değer kaba dönüşümler:

• 1 token yaklaşık 4 İngilizce karakterdir, yani bir kelimenin dörtte üçü kadar.
• 1.000 token kabaca 750 kelime eder, normal düzyazıda bir buçuk sayfa civarı.
• Kod daha yoğundur. Semboller, girintiler ve alışılmadık adlandırmalar yüzünden üç karakterde bir token'a yakın bir orana hazırlıklı ol.
• Diğer diller daha verimsizdir. Tokenizer'da daha az temsil edilen dillerdeki metin, aynı anlam için iki ya da üç kat fazla token harcayabilir. Token başına ödüyorsan bunu bilmekte fayda var.

Bu da pazarlama malzemelerinde gördüğün rakamları gözünde canlandırmanı sağlıyor:

Bağlam penceresi	Kabaca şuna denk
8.000 token	Uzun bir makale
32.000 token	Notlarıyla birlikte kısa bir araştırma makalesi
128.000 token	300 sayfalık bir kitap
200.000 token	Yoğun bir teknik kılavuz ya da orta ölçekli bir kod tabanı
1.000.000 token	Birkaç kitap ya da bir yıllık toplantı dökümü

Bu tablonun gizlediği önemli nokta şu: sınır her mesajı değil, sohbetin tamamını kapsar. 128.000 token'lık bir pencere, 128.000 token'ı defalarca gönderebilirsin demek değildir. Modelin kendi yanıtları dahil her şeyin toplamının o rakamın altında kalması gerektiği anlamına gelir.

Pencereni asıl ne doldurur

İnsanlar pencerenin ne kadar hızlı dolduğuna genelde şaşırır, çünkü içine giren şeylerin çoğu görünmez. Tipik bir sohbet oturumunda model, her turda aşağıdakilerin hepsini okuyor:

1. Sistem promptu. Sen daha bir şey yazmadan ürünün gönderdiği talimatlar: nasıl davranacağı, hangi araçların olduğu, bugünün tarihi, güvenlik kuralları. Çoğu zaman binlerce token tutar ve sen onu hiç görmezsin.
2. Özel talimatların ya da hafızan. Ürünün senin hakkında sakladığı ve otomatik olarak eklediği her şey.
3. Önceki her mesaj, seninkiler ve modelinkiler, tam haliyle. Modelin uzun yanıtları da sayılır ve genelde en çok yeri onlar kaplar.
4. Yüklenen her dosya ya da ondan çıkarılan bölümler. 40 sayfalık bir PDF kabaca 20.000 ile 30.000 token eder.
5. Araç ve arama sonuçları. Beş sayfa getiren bir web araması, o ana kadarki bütün sohbetinden daha fazla yer kaplayabilir.
6. Üretilmekte olan yanıt. Çıktı, girdiyle aynı bütçeyi paylaşır.

Kısa hissettiren bir sohbetin sınırına yaklaşmış olmasının nedeni bu. Sen sekiz kısa mesaj yazdın, ama model sekiz uzun yanıt yazdı, sen iki belge ekledin, o da üç arama yaptı. Bunun görünen kısmı toplamın belki yüzde onu.

Kafası karışan bir sohbetin çözümünün neden bu kadar sık "yeni bir sohbet aç" olduğunu da bu açıklıyor. Modelin ruh halini sıfırlamıyorsun. Masayı boşaltıyorsun.

Reklam edilen boyut ile işe yarayan boyut

En çok önem taşıyan ve en az konuşulan kısım burası. Bir modelin kalitesi sınırına kadar sabit kalıp sonra uçurumdan düşmez. Kademeli olarak bozulur ve bozulmaya sınırdan çok önce başlar.

Bunun en iyi belgelenmiş hali genellikle ortada kaybolma (lost in the middle) etkisi diye anılır. Uzun bir belgenin başına belirli bir bilgi koy, model onu bulur. Sonuna koy, yine bulur. 200 sayfanın ortasına göm, bulma doğruluğu gözle görülür biçimde düşer. Dikkat, uzun bir girdiye eşit dağılmaz; uçlar daha fazlasını alır.

Görev, uzun bir girdiye dağılmış birkaç bilgiyi birleştirmeyi gerektirdiğinde iş daha da zorlaşır. Samanlıkta tek iğne bulmak çözülmüş bir problem. Dört iğne bulup aralarındaki ilişki üzerine akıl yürütmek değil ve insanların büyük bağlam pencerelerini kullandığı iş tam olarak bu.

Yani reklam edilen rakama azami kapasite gözüyle bak, rahat çalışma aralığı gözüyle değil. Gerçek kullanımdan çıkan pratik bir kural: reklam edilen pencerenin kabaca yarısına kadar güvenilir davranış alırsın, ötesindeki her şeye güvenmek yerine doğrulaman gerekir. Bir model sana 300 sayfalık bir sözleşmede fesih maddesi bulunmadığını söylüyorsa kontrol et, özellikle de o madde ortalarda olacaksa.

Karşılaştırma açısından sonucu şu: bir milyon token'lık pencereye sahip bir model, 200.000'lik bir modelden uzun belgelerde otomatik olarak daha iyi değildir. Onları kabul etmekte daha iyidir. Hepsi üzerinde iyi akıl yürütüp yürütmediği ayrı bir soru ve bunu öğrenmenin tek yolu, cevabını zaten bildiğin bir belgeyle test etmek.

Yerin bittiğinde ne oluyor

Taşmayı her ürün farklı yönetiyor ve hangisini kullandığını bilmek bir sürü tuhaf davranışı açıklıyor.

Davranış	Senin gördüğün	Nerede olur
Doğrudan hata	İstek, uzunlukla ilgili bir mesajla reddedilir	Çoğu doğrudan API kullanımı
Sessiz kırpma	En eski mesajlar sana söylenmeden atılır	Birçok sohbet arayüzü
Kayan özet	Eski mesajlar bir özete sıkıştırılır	Sohbet ürünlerinde giderek yaygın
Getirme	Her turda belgelerinin yalnızca ilgili kısımları çekilir	Belge ve bilgi tabanı araçları

Asıl sorun çıkaran sessiz kırpma, çünkü kimse haber vermiyor. Belirtisi şu: model en başta koyduğun bir kuralı birden yok sayar, bir saat önce düzelttiğin bir tona geri döner ya da zaten yanıtladığın bir soruyu sorar. Modelde bir bozukluk yok. O talimatlar artık masada değil, o kadar.

Kayan özetler daha iyi ama kayıplı. Özet ana fikri tutar, ayrıntıları atar; böylece "sinerji kelimesini asla kullanma" kısıtı "kullanıcının üslup tercihleri var" olarak hayatta kalır ki bu sana hiç yaramaz.

Gerçekten işe yarayan pratik taktikler

Aşağıdakiler, harcanan emeğe kıyasla yarattıkları farka göre sıralı.

Konu değiştiğinde yeni bir sohbet aç. Getirisi en yüksek tek alışkanlık. Uzun bir sohbet, artık konuyla ilgisi kalmamış yan dallar dahil kendinden önceki her şeyin maliyetini taşır. Uzun sohbetler daha bilgili değildir; daha pahalı ve daha sulandırılmıştır.

Sorunu uzun malzemenin önüne değil, arkasına koy. Bir belgeyi yapıştırıp sonra sorarsan soru, yanıtın üretildiği yere yakın olur ve bu, uzun girdilerde doğruluğu ölçülebilir biçimde artırır. Önce yapıştır, sonra sor.

Önemli kısıtları yeniden çıpala. On beş turu aşan her sohbette, önem taşıyan kuralları tam da önem taşıdıkları mesajda tekrarla: "hatırlatma: resmi dil, madde işareti yok, 400 kelimenin altında". Sana bir satıra mal olur ve kırpmadan sağ çıkar.

Kitabın tamamını değil, ilgili sayfaları gönder. Modelin tazminat maddesini kontrol etmesini istiyorsan ona tazminat maddesini ve çevresindekileri ver. Hassasiyet hacmi yener: daha hızlıdır, daha ucuzdur ve daha doğrudur.

Bilerek özetle ve yeniden başla. Bir çalışma oturumu uzadığında yapılandırılmış bir devir teslim iste: mevcut durum, verilen kararlar, açık sorular, kısıtlar. Onu yeni bir sohbete yapıştır. Özü korur, gürültüyü atarsın ve modelin anında keskinleştiğini fark edersin.

Sığmayan her şey için getirme kullan. Malzemen gerçekten her pencereden büyükse çözüm daha büyük bir pencere değil, her soru için ilgili parçaları çekmektir. Belge araçları arka planda tam olarak bunu yapıyor.

Yalnızca hataları değil, bozulmayı da izle. Yanıtlar bulanıklaşıyor, daha çok kaçamak yapıyor ya da biçim talimatlarını yok saymaya başlıyorsa muhtemelen pencerenin derinlerindesin. Modelin kötüleştiğine hükmetmeden önce temiz bir sayfa aç.

Gerçekte ne kadar pencere lazım?

En büyük rakamın peşine düşmek yerine pencereyi işe göre seç.

Senin işin	İhtiyacın olan	Neden
E-posta, taslak yazma, kısa sorular	Güncel herhangi bir model	Sınıra asla yaklaşmayacaksın
Uzun belgeleri düzenlemek	100.000 ve üzeri	Belge, artı onun hakkındaki sohbetin
Sözleşme ve politika incelemesi	200.000 ve üzeri, üstüne doğrulama	Belge, artı üzerine akıl yürütme, yukarıdaki uyarıyla birlikte
Bütün bir kod tabanı üzerinde akıl yürütmek	Mevcut en büyüğü	Kod token açısından yoğundur ve dosyalar arası akıl yürütme genişlik ister
Aylarca birikmiş dökümleri analiz etmek	Mevcut en büyüğü ya da getirme	Çoğu zaman kaba kuvvetten çok getirme işe yarar
Bir API üzerine ürün geliştirmek	Sandığından küçüğü, artı önbellek	Uzun promptlar hem maliyetin hem gecikmenin baş sorumlusudur

Çoğu insan için dürüst cevap şu: abonelikler arasındaki kararı bağlam penceresi vermiyor. Yazma kalitesi, ekosistem ve fiyat daha ağır basıyor. Belirleyici olduğu tam olarak tek bir durum var: işin düzenli olarak normal bir pencereye sığmayacak kadar çok malzeme beslemeyi gerektiriyorsa. O durumda fark küçük değil, mümkün olmakla olmamak arasındaki fark.

Bunu kendin test etmek istersen pratik yol, aynı uzun belgeyi iki üç modelden geçirip yanıtları zaten bildiğin bir şeyle karşılaştırmak. Whizi gibi bir çalışma alanı bunu kolaylaştırıyor, çünkü GPT, Claude, Gemini, Grok ve DeepSeek tek aboneliğin arkasında duruyor ve Gemini'nin çok büyük penceresi, Claude'un titiz sentezinden bir tık uzakta. Modelleri yan yana karşılaştırma sayfasına bak ya da kararın tamamı için yapay zeka modeli nasıl seçilir rehberini oku.