Ett context window är modellens hela arbetsminne
Ett context window är den totala mängden text en modell kan hålla i minnet samtidigt. Allt modellen vet om din nuvarande konversation måste rymmas där: dina instruktioner, varje meddelande någon av er har skickat, varje fil du laddat upp, och svaret den håller på att skriva.
En användbar bild: modellen har inget minne av din konversation alls. Varje gång du skickar ett meddelande överlämnas hela konversationen på nytt, den läser allt, och skriver nästa svar. Context window är storleken på skrivbordet som transkriptet måste få plats på. När skrivbordet är fullt måste något plockas bort.
Det är därför en AI kan verka skarp i tjugo meddelanden och sedan börja motsäga sig själv, glömma en regel du satte i början, eller be om en fil du redan skickat. Den tidiga delen av konversationen gled av skrivbordet.
En sak att förstå direkt, eftersom den orsakar mycket förvirring: context window är inte samma sak som minne. Produkter som ChatGPT och Claude har en separat minnesfunktion som sparar fakta om dig mellan konversationer och tyst för in dem i nya. Det är en produktfunktion byggd ovanpå modellen. Context window är en hård egenskap hos själva modellen, och ingen minnesfunktion gör det större.
En token är ungefär tre fjärdedelar av ett ord
Context windows mäts i tokens snarare än ord, eftersom modeller inte läser ord. Token är ett av orden som AI-ordlistan förklarar i en mening, tillsammans med ett femtiotal andra termer runt omkring. De läser bitar: vanliga ord är oftast en token, längre eller ovanliga ord delas upp i flera, och skiljetecken och mellanslag räknas också.
De ungefärliga omräkningarna värda att komma ihåg:
- 1 token är ungefär 4 tecken engelska, eller ungefär tre fjärdedelar av ett ord. Vad är tokens i AI går igenom enheten i sin helhet.
- 1 000 tokens är ungefär 750 ord, ungefär en och en halv sida vanlig text.
- Kod är tätare. Räkna med närmare en token per tre tecken på grund av symboler, indentering och ovanliga identifierare.
- Andra språk är mindre effektiva. Text på språk som är mindre representerade i tokeniseraren kan ta två eller tre gånger så många tokens för samma innebörd, vilket är bra att veta om du betalar per token.
Det ger dig ett sätt att bildligt förstå siffrorna du ser i marknadsföringsmaterial:
| Context window | Ungefär motsvarande |
|---|---|
| 8 000 tokens | En lång artikel |
| 32 000 tokens | En kort forskningsrapport med anteckningar |
| 128 000 tokens | En bok på 300 sidor |
| 200 000 tokens | En tät teknisk manual, eller en medelstor kodbas |
| 1 000 000 tokens | Flera böcker, eller ett år av mötesanteckningar |
Det viktiga som denna tabell döljer: gränsen omfattar hela konversationen, inte varje meddelande. Ett fönster på 128 000 tokens betyder inte att du kan skicka 128 000 tokens gång på gång. Det betyder att den löpande summan av allt, inklusive modellens egna svar, måste hålla sig under det talet.
Vad fyller egentligen ditt fönster?
Folk blir ofta förvånade över hur snabbt fönstret fylls, eftersom det mesta som fyller det är osynligt. I en typisk chattsession läser modellen allt följande i varje enskild tur:
- Systemprompten. Instruktioner produkten skickar innan du skriver något: hur den ska bete sig, vilka verktyg som finns, dagens datum, säkerhetsregler. Ofta tusentals tokens, och du ser den aldrig.
- Dina egna instruktioner eller minnet. Allt produkten har sparat om dig och för in automatiskt.
- Varje tidigare meddelande, ditt och modellens, i sin helhet. Modellens långa svar räknas också, och de är oftast den största bidragsgivaren.
- Varje uppladdad fil, eller de utvunna delarna av den. En PDF på 40 sidor är ungefär 20 000 till 30 000 tokens.
- Verktygs- och sökresultat. En webbsökning som hämtar fem sidor kan lägga till mer än hela din konversation hittills.
- Svaret som genereras. Utdata delar samma budget som indata.
Det är därför en konversation som kändes kort ändå kan vara nära sin gräns. Du skickade åtta korta meddelanden, men modellen skrev åtta långa svar, du bifogade två dokument, och den gjorde tre sökningar. Den synliga delen av det är kanske tio procent av totalen.
Det är också därför lösningen på en förvirrad konversation så ofta är "starta en ny chatt". Du återställer inte modellens humör. Du tömmer skrivbordet.
Kvaliteten försämras före den angivna gränsen
Det här är den viktigaste delen och den som diskuteras minst. En modells kvalitet ligger inte still ända fram till gränsen och rasar sedan tvärt. Den försämras gradvis, och börjar redan långt innan gränsen.
Den bäst dokumenterade versionen av detta kallas ofta lost in the middle-effekten. Placera ett specifikt faktum i början av ett långt dokument och modellen hittar det. Placera det i slutet och modellen hittar det. Begrav det i mitten och noggrannheten sjunker: i de ursprungliga Lost in the Middle-experimenten (Liu m.fl., 2023, länkat nedan) kostade det ungefär 20 poäng i noggrannhet att flytta nyckeldokumentet från kanterna av indatat till mitten. Uppmärksamheten är inte jämnt fördelad över en lång indata, och kanterna får mer av den.
Det blir ännu svårare när uppgiften kräver att kombinera flera fakta utspridda över en lång indata. Att hitta en nål i en höstack är löst. Att hitta fyra nålar och resonera om relationen mellan dem är det inte, och det är exakt vad folk använder stora context windows till.
Så behandla den angivna siffran som en maxkapacitet, inte ett bekvämt arbetsintervall. En praktisk tumregel från verklig användning: du får tillförlitligt beteende upp till ungefär hälften av det angivna fönstret, och du bör verifiera allt bortom det snarare än att lita på det. Om en modell säger att ett kontrakt på 300 sidor inte innehåller någon uppsägningsklausul, kontrollera det, särskilt om klausulen skulle ligga i mitten.
Jämförelsen innebär: ett fönster på en miljon tokens garanterar att en modell kan ta emot ett längre dokument än ett fönster på 200 000 tokens, och garanterar inget annat. Om den resonerar bra över allt är en separat fråga, och det enda sättet att veta är att testa med ett dokument där du redan vet svaret.
Vad händer när du fyller det
Olika produkter hanterar överflöde olika, och att veta vilken du använder förklarar mycket konstigt beteende.
| Beteende | Vad du ser | Var det förekommer |
|---|---|---|
| Hårt fel | Förfrågan avvisas med ett meddelande om längd | Vid direkt API-användning |
| Tyst avkortning | De äldsta meddelandena tas bort utan att du meddelas | Många chattgränssnitt |
| Löpande sammanfattning | Gamla meddelanden komprimeras till en sammanfattning | Allt vanligare i chattprodukter |
| Hämtning | Endast de relevanta delarna av dina dokument hämtas per tur | Verktyg för dokument och kunskapsbaser |
Tyst avkortning är den som orsakar riktiga problem, eftersom inget meddelar det. Symptomet är en modell som plötsligt ignorerar en regel du satte i början, återgår till en ton du rättade en timme tidigare, eller ställer en fråga du redan svarat på. De instruktionerna ligger helt enkelt inte kvar på skrivbordet längre.
Löpande sammanfattningar är bättre men förlustbehäftade. En sammanfattning behåller kärnan och tappar detaljerna, så regeln "använd aldrig ordet synergi" överlever som "användaren har stilpreferenser", vilket inte hjälper dig alls.
Sju taktiker som faktiskt fungerar
Ordnade efter hur mycket skillnad de gör i förhållande till ansträngningen.
Starta en ny chatt när ämnet ändras. Den enskilt mest värdefulla vanan. En lång konversation bär kostnaden av allt som kom innan, inklusive sidospår som inte längre är relevanta, och varje sidospår som fortfarande ligger på skrivbordet späder ut nästa svar.
Placera din fråga efter det långa materialet, inte före. Om du klistrar in ett dokument och sedan frågar, ligger frågan nära där svaret genereras, vilket mätbart förbättrar noggrannheten för lång indata. Klistra in först, fråga sedan.
Förankra viktiga regler på nytt. I en konversation över ungefär femton utbyten, upprepa reglerna som spelar roll i meddelandet där de spelar roll: "som en påminnelse, brittisk engelska, inga punktlistor, under 400 ord". Det kostar dig en rad och det överlever avkortning.
Skicka de relevanta sidorna, inte hela boken. Om du behöver att modellen kollar skadeslöshetsklausulen, ge den skadeslöshetsklausulen och dess grannar. Precision slår volym: ett fokuserat utdrag är billigare att skicka, och modellen läser det mer träffsäkert än en hel bok.
Sammanfatta och starta om medvetet. När en arbetssession blir lång, be om en strukturerad överlämning: nuvarande status, fattade beslut, öppna frågor, begränsningar. Klistra in det i en ny chatt. Du behåller innehållet och tappar bruset, och du märker att modellen genast blir skarpare.
Använd hämtning för allt som inte får plats. Om ditt material faktiskt är större än något fönster är lösningen hämtning: hämta relevanta delar per fråga i stället för att leta efter ett större fönster. Det är vad dokumentverktyg gör under huven.
Håll utkik efter försämring, inte bara fel. Om svaren blir vagare, mer försiktiga eller börjar ignorera formatinstruktioner är du förmodligen djupt in i fönstret. Börja om innan du antar att modellen blivit sämre.
Hur stort fönster behöver du egentligen?
Anpassa fönstret efter uppgiften i stället för att leta efter den största siffran. För aktuella siffror för en specifik modell listar tabellen jämförelse av context windows hela katalogen i tokens och sidor.
| Ditt arbete | Vad du behöver | Varför |
|---|---|---|
| E-post, textutkast, snabba frågor | Vad som helst modernt | Du kommer aldrig nära gränsen |
| Redigera långa dokument | 100 000 eller mer | Dokumentet plus din konversation om det |
| Kontrakts- och policygranskning | 200 000 eller mer, och verifiera | Dokumentet plus resonemanget om det, med förbehållet ovan |
| Resonera över en hel kodbas | Det största tillgängliga | Kod är tokentät och resonemang över filer kräver bredd |
| Analysera månader av transkript | Det största tillgängliga, eller hämtning | Ofta bättre löst med hämtning än med råstyrka |
| Bygga en produkt på ett API | Mindre än du tror, plus cachning | Långa prompter är den huvudsakliga drivkraften bakom både kostnad och latens |
För de flesta är det ärliga svaret att context window inte är det avgörande valet mellan prenumerationer. Skrivkvalitet, ekosystem och pris betyder mer. Det blir det avgörande i exakt en situation: ditt arbete innebär regelbundet att mata in mer material än ett normalt fönster rymmer, och då avgör fönsterstorleken om jobbet över huvud taget går att göra.
Om du vill testa det själv är den praktiska metoden att köra samma långa dokument genom två eller tre modeller och kontrollera svaren mot något du redan vet. En arbetsyta som Whizi gör det enkelt eftersom GPT, Claude, Gemini, Grok och DeepSeek finns bakom en enda prenumeration, och Geminis mycket stora fönster är ett klick från Claudes noggranna syntes. Se jämföra modeller sida vid sida, eller läs hur man väljer en AI-modell för det bredare beslutet.
- Uppskatta tokenantal med regeln att 1 000 tokens är ungefär 750 ord
- Kom ihåg att systemprompter, filer, sökresultat och svar alla förbrukar samma budget
- Behandla ungefär hälften av det angivna fönstret som det tillförlitliga arbetsintervallet
- Klistra in långt material först och ställ din fråga efteråt
- Upprepa viktiga regler i långa konversationer så att de överlever avkortning
- Starta en ny chatt med en skriven överlämning i stället för att förlänga en lång en
Vanliga frågor
Vad är ett context window i enkla termer?
Det är den totala mängden text en modell kan hålla i minnet samtidigt, vilket täcker dina instruktioner, hela konversationen hittills, uppladdade filer och svaret som skrivs. När det totala innehållet överstiger gränsen faller de äldsta delarna bort, vilket är varför långa chattar börjar glömma saker.
Är ett större context window alltid bättre?
Nej. Ett större fönster låter en modell ta emot mer indata, men noggrannheten försämras gradvis när indatat växer, särskilt för fakta begravda i mitten. En modell med ett fönster på en miljon tokens är inte automatiskt bättre på långa dokument än en med 200 000, så testa med material där du vet det rätta svaret.
Hur många ord är 128 000 tokens?
Ungefär 96 000 ord, eller ungefär en bok på 300 sidor. Den generella omräkningen är att en token är ungefär fyra tecken engelska, så 1 000 tokens är runt 750 ord. Kod och text på andra språk än engelska använder fler tokens för samma innehåll.
Varför glömmer ChatGPT vad jag sa tidigare?
Eftersom konversationen växte förbi context window och de äldsta meddelandena togs bort eller komprimerades för att göra plats. De flesta chattgränssnitt gör detta tyst. Att upprepa dina viktigaste regler, eller starta en ny chatt med en kort sammanfattning, löser det direkt.
Är context window samma sak som AI-minne?
Nej. Context window är en hård gräns för en konversation. Minne är en separat produktfunktion som sparar fakta om dig mellan konversationer och för in dem i nya. Minne lägger inte till kapacitet, de sparade fakta det för in förbrukar en del av fönstret.