Ce este o fereastră de context? Limita de IA care explică totul

O fereastră de context este întreaga memorie de lucru a modelului

O fereastră de context este cantitatea totală de text pe care un model o poate ține în vedere odată. Tot ce știe modelul despre conversația ta curentă trebuie să încapă în ea: instrucțiunile tale, fiecare mesaj pe care oricare dintre voi l-a trimis, fiecare fișier pe care l-ai încărcat, și răspunsul pe care e pe cale să îl scrie.

O imagine mentală utilă: modelul nu are deloc memorie despre conversația ta. De fiecare dată când trimiți un mesaj, întreaga conversație de până acum îi este dată din nou, o citește pe toată, și scrie următorul răspuns. Fereastra de context este dimensiunea biroului pe care trebuie să încapă acea transcriere. Când biroul este plin, ceva trebuie să cadă de pe el.

De aceea o IA poate părea ascuțită timp de douăzeci de mesaje și apoi să înceapă să se contrazică, să uite o constrângere pe care ai stabilit-o la început, sau să ceară un fișier pe care deja i l-ai dat. Partea de la începutul conversației a alunecat de pe birou.

O distincție de înțeles corect imediat, pentru că provoacă multă confuzie: fereastra de context nu este același lucru cu memoria. Produse precum ChatGPT și Claude au o funcție separată de memorie care stochează fapte despre tine între conversații și le inserează discret în cele noi. Aceea este o funcție de produs construită deasupra modelului. Fereastra de context este o proprietate fixă a modelului însuși, și nicio funcție de memorie nu o face mai mare.

Un token este cam trei sferturi dintr-un cuvânt

Ferestrele de context se măsoară în tokeni, nu în cuvinte, pentru că modelele nu citesc cuvinte. Token este unul din cuvintele pe care glosarul de IA le definește într-o propoziție, alături de celelalte vreo cincizeci care îl înconjoară. Ele citesc bucăți: cuvintele comune sunt de obicei un token, cuvintele mai lungi sau neobișnuite se împart în mai multe, iar punctuația și spațiile contează și ele.

Conversiile aproximative care merită reținute:

• 1 token este cam 4 caractere de engleză, sau cam trei sferturi dintr-un cuvânt.
• 1.000 de tokeni sunt cam 750 de cuvinte, cam o pagină și jumătate de proză normală.
• Codul este mai dens. Așteaptă-te la mai aproape de un token la trei caractere din cauza simbolurilor, indentării, și identificatorilor neobișnuiți.
• Alte limbi sunt mai puțin eficiente. Textul în limbi mai puțin reprezentate în tokenizator poate lua de două sau trei ori mai mulți tokeni pentru același sens, ceea ce merită știut dacă plătești per token.

Asta îți dă un mod de a-ți imagina numerele pe care le vezi în materialele de marketing:

Fereastră de context	Aproximativ egal cu
8.000 de tokeni	Un articol lung
32.000 de tokeni	O lucrare de cercetare scurtă cu notițe
128.000 de tokeni	O carte de 300 de pagini
200.000 de tokeni	Un manual tehnic dens, sau o bază de cod de dimensiune medie
1.000.000 de tokeni	Mai multe cărți, sau un an de transcrieri de ședințe

Lucrul important pe care îl ascunde acest tabel: limita acoperă întreaga conversație, nu fiecare mesaj. O fereastră de 128.000 de tokeni nu înseamnă că poți trimite 128.000 de tokeni repetat. Înseamnă că totalul cumulat al tuturor, inclusiv răspunsurile modelului însuși, trebuie să rămână sub acel număr.

Ce îți umple de fapt fereastra?

Oamenii sunt de obicei surprinși de cât de repede se umple fereastra, pentru că cea mai mare parte din ce intră în ea este invizibil. Într-o sesiune de chat tipică, modelul citește tot ce urmează la fiecare tură:

1. Promptul de sistem. Instrucțiuni pe care produsul le trimite înainte să scrii orice: cum să se comporte, ce unelte există, data de azi, reguli de siguranță. Adesea mii de tokeni, și nu le vezi niciodată.
2. Instrucțiunile tale personalizate sau memoria. Orice a stocat produsul despre tine și injectează automat.
3. Fiecare mesaj anterior, al tău și al modelului, integral. Răspunsurile lungi ale modelului contează și ele, și de obicei sunt cei mai mari contribuitori.
4. Fiecare fișier încărcat, sau porțiunile extrase din el. Un PDF de 40 de pagini este cam 20.000 până la 30.000 de tokeni.
5. Rezultate de la unelte și căutări. O căutare web care aduce cinci pagini poate adăuga mai mult decât întreaga ta conversație de până acum.
6. Răspunsul care se generează. Rezultatul împarte același buget cu intrarea.

De aceea o conversație care s-a simțit scurtă poate fi aproape de limita ei. Ai trimis opt mesaje scurte, dar modelul a scris opt răspunsuri lungi, ai atașat două documente, și a rulat trei căutări. Partea vizibilă din asta este poate zece la sută din total.

De aceea soluția pentru o conversație confuză este atât de des „începe un chat nou”. Nu resetezi starea de spirit a modelului. Golești biroul.

Calitatea scade înainte de limita anunțată

Aceasta este partea care contează cel mai mult și despre care se discută cel mai puțin. Calitatea unui model nu rămâne constantă până la limită și apoi cade brusc. Scade treptat, și începe să scadă cu mult înainte de limită.

Cea mai bine documentată versiune a asta este adesea numită efectul „pierdut la mijloc”. Pune un fapt specific la începutul unui document lung și modelul îl găsește. Pune-l la sfârșit și modelul îl găsește. Îngroapă-l la mijloc și acuratețea scade: în experimentele originale Lost in the Middle (Liu et al., 2023, link mai jos), mutarea documentului cheie de la marginile intrării la mijloc a costat modelele circa 20 de puncte de acuratețe. Atenția nu este distribuită uniform pe o intrare lungă, iar marginile primesc mai multă.

Devine și mai greu când sarcina cere combinarea mai multor fapte împrăștiate pe o intrare lungă. Găsirea unui ac într-un fân de fân este o problemă rezolvată. Găsirea a patru ace și raționamentul despre relația dintre ele nu este, și exact aceasta este sarcina pentru care oamenii folosesc ferestre mari de context.

Așa că tratează numărul anunțat ca pe o capacitate maximă, nu ca pe un interval confortabil de lucru. O regulă practică din utilizarea reală: obții comportament fiabil până la circa jumătate din fereastra anunțată, și ar trebui să verifici orice trece de acolo, nu să ai încredere. Dacă un model îți spune că un contract de 300 de pagini nu conține nicio clauză de reziliere, verifică, mai ales dacă clauza ar fi la mijloc.

Implicația pentru comparație: o fereastră de un milion de tokeni garantează că un model poate accepta un document mai lung decât o fereastră de 200.000 de tokeni, și nu garantează nimic altceva. Dacă raționează bine pe tot documentul este o întrebare separată, iar singurul mod de a ști este să testezi cu un document unde deja știi răspunsul.

Ce se întâmplă când rămâi fără spațiu

Produse diferite gestionează depășirea diferit, iar să știi pe care îl folosești explică multe comportamente ciudate.

Comportament	Ce vezi	Unde se întâmplă
Eroare fermă	Cererea este respinsă cu un mesaj despre lungime	Majoritatea utilizărilor directe de API
Trunchiere silențioasă	Cele mai vechi mesaje sunt eliminate fără să ți se spună	Multe interfețe de chat
Rezumat evolutiv	Mesajele vechi sunt comprimate într-un rezumat	Din ce în ce mai comun în produsele de chat
Recuperare	Doar părțile relevante din documentele tale sunt aduse per tură	Unelte de documente și baze de cunoștințe

Trunchierea silențioasă este cea care cauzează probleme reale, pentru că nimic nu o anunță. Simptomul este un model care ignoră brusc o regulă pe care ai stabilit-o la început, revine la un ton pe care l-ai corectat cu o oră în urmă, sau pune o întrebare la care deja ai răspuns. Acele instrucțiuni pur și simplu nu mai sunt pe birou.

Rezumatele evolutive sunt mai bune, dar cu pierderi. Un rezumat păstrează esența și pierde detaliile, așa că restricția „nu folosi niciodată cuvântul sinergie” supraviețuiește ca „utilizatorul are preferințe de stil”, ceea ce nu te ajută deloc.

Șapte tactici care chiar funcționează

Sunt ordonate după cât de mare este diferența pe care o fac în raport cu efortul.

Începe un chat nou când se schimbă subiectul. Cel mai valoros obicei. O conversație lungă poartă costul a tot ce a fost înainte, inclusiv tangente care nu mai sunt relevante, iar fiecare tangentă încă pe birou diluează următorul răspuns.

Pune-ți întrebarea după materialul lung, nu înainte. Dacă lipești un document și apoi întrebi, întrebarea este aproape de locul unde se generează răspunsul, ceea ce îmbunătățește măsurabil acuratețea pe intrări lungi. Lipește mai întâi, întreabă al doilea.

Reancorează constrângerile importante. În orice conversație de peste cincisprezece schimburi, reformulează regulile care contează în mesajul unde contează: „ca reamintire, engleză britanică, fără liste cu puncte, sub 400 de cuvinte”. Te costă o linie și supraviețuiește trunchierii.

Trimite paginile relevante, nu întreaga carte. Dacă ai nevoie ca modelul să verifice clauza de despăgubire, dă-i clauza de despăgubire și vecinele ei. Precizia bate volumul: un extras focalizat este mai ieftin de trimis, iar modelul îl citește mai precis decât o carte întreagă.

Rezumă și repornește deliberat. Când o sesiune de lucru devine lungă, cere o predare structurată: starea actuală, deciziile luate, întrebările deschise, constrângerile. Lipește asta într-un chat nou. Păstrezi substanța și elimini zgomotul, și vei observa că modelul devine mai ascuțit imediat.

Folosește recuperare pentru orice nu încape. Dacă materialul tău este cu adevărat mai mare decât orice fereastră, soluția este recuperarea: adu bucățile relevante per întrebare în loc să cauți o fereastră mai mare. Asta fac uneltele de documente sub capotă.

Fii atent la degradare, nu doar la erori. Dacă răspunsurile devin mai vagi, se protejează mai mult, sau încep să ignore instrucțiunile de format, probabil ești adânc în fereastră. Începe din nou înainte să presupui că modelul s-a înrăutățit.

De cât spațiu ai de fapt nevoie?

Potrivește fereastra cu sarcina în loc să cauți cel mai mare număr. Pentru cifra actuală pe orice model specific, tabelul comparație de ferestre de context listează întregul catalog în tokeni și pagini.

Munca ta	De ce ai nevoie	De ce
Emailuri, redactare, întrebări rapide	Orice model modern	Nu te vei apropia niciodată de limită
Editarea documentelor lungi	100.000 plus	Documentul plus conversația ta despre el
Revizuire de contracte și politici	200.000 plus, și verifică	Documentul plus raționamentul despre el, cu observația de mai sus
Raționament pe o bază de cod întreagă	Cea mai mare disponibilă	Codul este dens în tokeni și raționamentul între fișiere are nevoie de amploare
Analiza a luni de transcrieri	Cea mai mare disponibilă, sau recuperare	Adesea deservit mai bine de recuperare decât de forță brută
Construirea unui produs pe un API	Mai mică decât crezi, plus caching	Prompturile lungi sunt principalul factor atât pentru cost cât și pentru latență

Pentru majoritatea oamenilor, răspunsul onest este că fereastra de context nu este factorul decisiv între abonamente. Calitatea scrisului, ecosistemul, și prețul contează mai mult. Devine factorul decisiv în exact o situație: munca ta implică regulat introducerea a mai mult material decât ține o fereastră normală, și în acel caz dimensiunea ferestrei decide dacă sarcina poate fi făcută deloc.

Dacă vrei să testezi asta singur, abordarea practică este să rulezi același document lung prin două sau trei modele și să verifici răspunsurile față de ceva ce deja știi. Un spațiu de lucru precum Whizi face asta ușor pentru că GPT, Claude, Gemini, Grok, și DeepSeek stau în spatele unui singur abonament, iar fereastra foarte mare a Gemini este la un clic de sinteza atentă a Claude. Vezi compararea modelelor una lângă alta, sau citește cum să alegi un model de IA pentru decizia mai amplă.