Context window AI: den AI-grænse der forklarer alt

Et context window er modellens samlede arbejdshukommelse

Et context window er den samlede mængde tekst, en model kan holde i sigte på ét tidspunkt. Alt hvad modellen ved om din nuværende samtale skal passe ind i det: dine instrukser, hver besked I begge har sendt, hver fil du har uploadet, og svaret den er ved at skrive.

Et nyttigt billede: modellen har slet ingen hukommelse om din samtale. Hver gang du sender en besked, bliver hele samtalen indtil videre givet til den på ny, den læser det hele, og skriver det næste svar. Context windowet er størrelsen på det skrivebord, den transskription skal passe på. Når skrivebordet er fuldt, skal noget fjernes.

Det er derfor en AI kan virke skarp i tyve beskeder og derefter begynde at modsige sig selv, glemme en begrænsning du satte i starten, eller bede om en fil du allerede gav den. Den tidlige del af samtalen gled af bordet.

Én skelnen skal på plads med det samme, fordi den skaber en del forvirring: context windowet er ikke det samme som hukommelse. Produkter som ChatGPT og Claude har en separat hukommelsesfunktion, der gemmer fakta om dig mellem samtaler og stille indsætter dem i nye. Det er en produktfunktion bygget oven på modellen. Context windowet er en fast egenskab ved selve modellen, og ingen hukommelsesfunktion gør det større.

Ét token er cirka tre fjerdedele af et ord

Context windows måles i tokens frem for ord, fordi modeller ikke læser ord. Token er et af de ord AI-ordbogen definerer i en sætning, sammen med de halvtreds andre der omgiver det. De læser bidder: almindelige ord er som regel ét token, længere eller usædvanlige ord opdeles i flere, og tegnsætning og mellemrum tæller også med.

De omtrentlige omregninger, det er værd at huske:

• 1 token er cirka 4 tegn engelsk, eller cirka tre fjerdedele af et ord. Hvad er tokens i AI dækker enheden fuldt ud.
• 1.000 tokens er cirka 750 ord, omkring halvanden side almindelig tekst.
• Kode er tættere. Forvent nærmere ét token per tre tegn på grund af symboler, indrykning og usædvanlige identifikatorer.
• Andre sprog er mindre effektive. Tekst på sprog, der er mindre repræsenteret i tokeniseren, kan bruge to eller tre gange så mange tokens for den samme betydning, hvilket er værd at vide, hvis du betaler per token.

Det giver dig en måde at forestille dig de tal, du ser i markedsføringsmateriale:

Context window	Svarer nogenlunde til
8.000 tokens	En lang artikel
32.000 tokens	En kort forskningsartikel med noter
128.000 tokens	En bog på 300 sider
200.000 tokens	En tæt teknisk manual, eller en mellemstor kodebase
1.000.000 tokens	Flere bøger, eller et år med mødetransskriptioner

Det vigtige denne tabel skjuler: grænsen dækker hele samtalen, ikke hver besked. Et 128.000 token-vindue betyder ikke, at du kan sende 128.000 tokens gentagne gange. Det betyder, at den løbende sum af alt, inklusive modellens egne svar, skal holde sig under det tal.

Hvad fylder faktisk dit vindue op?

Folk bliver som regel overraskede over, hvor hurtigt vinduet fyldes, fordi det meste af det, der går ind i det, er usynligt. I en typisk chatsession læser modellen alt følgende ved hver eneste tur:

1. System-prompten. Instrukser produktet sender, før du skriver noget: hvordan man opfører sig, hvilke værktøjer der findes, dagens dato, sikkerhedsregler. Ofte tusindvis af tokens, og du ser den aldrig.
2. Dine brugerdefinerede instrukser eller hukommelse. Alt hvad produktet har gemt om dig og indsætter automatisk.
3. Hver tidligere besked, både din og modellens, i sin helhed. Modellens lange svar tæller også med, og de er som regel de største bidragydere.
4. Hver uploadet fil, eller de udtrukne dele af den. En PDF på 40 sider er cirka 20.000 til 30.000 tokens.
5. Værktøjs- og søgeresultater. En websøgning, der henter fem sider, kan tilføje mere end hele din samtale indtil videre.
6. Svaret der genereres. Output deler det samme budget som input.

Det er derfor en samtale, der føltes kort, kan være tæt på sin grænse. Du sendte otte korte beskeder, men modellen skrev otte lange svar, du vedhæftede to dokumenter, og den kørte tre søgninger. Den synlige del af det er måske ti procent af det samlede antal.

Det er også derfor løsningen på en forvirret samtale så ofte er "start en ny chat". Du nulstiller ikke modellens humør. Du rydder skrivebordet.

Kvaliteten falder før den annoncerede grænse

Dette er den del, der betyder mest og bliver diskuteret mindst. En models kvalitet forbliver ikke flad helt op til dens grænse for så at styrtdykke. Den falder gradvist, og den begynder at falde længe før grænsen.

Den bedst dokumenterede version af dette kaldes ofte lost in the middle-effekten. Placer et specifikt faktum i starten af et langt dokument, og modellen finder det. Placer det til sidst, og modellen finder det. Begrav det i midten, og nøjagtigheden falder: i de originale Lost in the Middle-forsøg (Liu et al., 2023, linket nedenfor) kostede det modellerne cirka 20 point i nøjagtighed at flytte nøgledokumentet fra input's kanter til midten. Opmærksomhed er ikke jævnt fordelt over et langt input, og kanterne får mere af den.

Det bliver endnu sværere, når opgaven kræver at kombinere flere fakta spredt ud over et langt input. At finde én nål i en høstak er et løst problem. At finde fire nåle og ræsonnere om forholdet mellem dem er det ikke, og det er præcis den opgave, folk bruger store context windows til.

Så betragt det annoncerede tal som en maksimal kapacitet, ikke et komfortabelt arbejdsområde. En praktisk tommelfingerregel fra reel brug: du får pålidelig adfærd op til cirka halvdelen af det annoncerede vindue, og du bør verificere alt derudover i stedet for at stole på det. Hvis en model fortæller dig, at en kontrakt på 300 sider ikke indeholder en opsigelsesklausul, så tjek det, især hvis klausulen ville stå i midten.

Sammenligningens konsekvens: et vindue på en million tokens garanterer, at en model kan modtage et længere dokument end et 200.000 token-vindue, og garanterer intet andet. Om den ræsonnerer godt på tværs af det hele er et separat spørgsmål, og den eneste måde at vide det på er at teste med et dokument, hvor du allerede kender svaret.

Hvad sker der, når du løber tør

Forskellige produkter håndterer overløb forskelligt, og at vide hvilket du bruger forklarer meget mærkelig adfærd.

Adfærd	Hvad du ser	Hvor det sker
Hård fejl	Anmodningen afvises med en besked om længde	Det meste direkte API-brug
Stille afkortning	Ældste beskeder droppes uden at fortælle dig det	Mange chat-grænseflader
Løbende resumé	Gamle beskeder komprimeres til et resumé	I stigende grad almindeligt i chatprodukter
Hentning (retrieval)	Kun de relevante dele af dine dokumenter hentes per tur	Dokument- og videnbase-værktøjer

Stille afkortning er den, der skaber reelle problemer, fordi intet varsler den. Symptomet er en model, der pludselig ignorerer en regel du satte i starten, falder tilbage til en tone du rettede for en time siden, eller stiller et spørgsmål du allerede har besvaret. De instrukser er simpelthen ikke længere på bordet.

Løbende resuméer er bedre, men mangelfulde. Et resumé bevarer essensen og dropper detaljerne, så begrænsningen "brug aldrig ordet synergi" overlever som "brugeren har stilpræferencer", hvilket ikke hjælper dig overhovedet.

Syv taktikker der faktisk virker

Disse er ordnet efter, hvor stor forskel de gør i forhold til indsatsen.

Start en ny chat, når emnet skifter. Den enkeltvane med størst værdi. En lang samtale bærer omkostningen ved alt før den, inklusive sidespor der ikke længere er relevante, og hvert sidespor stadig på bordet udvander det næste svar.

Sæt dit spørgsmål efter det lange materiale, ikke før. Hvis du indsætter et dokument og derefter spørger, ligger spørgsmålet tæt på, hvor svaret genereres, hvilket målbart forbedrer nøjagtigheden på lange input. Indsæt først, spørg derefter.

Genankér vigtige begrænsninger. I enhver samtale over cirka femten udvekslinger, gentag reglerne der betyder noget i den besked, hvor de betyder noget: "som en påmindelse, britisk engelsk, ingen punktopstillinger, under 400 ord". Det koster dig én linje, og det overlever afkortning.

Send de relevante sider, ikke hele bogen. Hvis du skal have modellen til at tjekke skadesløsholdelsesklausulen, giv den skadesløsholdelsesklausulen og dens naboer. Præcision slår mængde: et fokuseret uddrag er billigere at sende, og modellen læser det mere nøjagtigt end en hel bog.

Opsummer og genstart bevidst. Når en arbejdssession bliver lang, bed om en struktureret overdragelse: nuværende status, trufne beslutninger, åbne spørgsmål, begrænsninger. Indsæt det i en ny chat. Du beholder substansen og dropper støjen, og du vil bemærke, at modellen bliver skarpere med det samme.

Brug hentning til alt der ikke passer. Hvis dit materiale genuint er større end noget vindue, er løsningen hentning: hent de relevante bidder per spørgsmål i stedet for at lede efter et større vindue. Det er, hvad dokumentværktøjer gør under motorhjelmen.

Hold øje med forringelse, ikke kun fejl. Hvis svar bliver vagere, tager flere forbehold, eller begynder at ignorere formatinstrukser, er du sandsynligvis dybt inde i vinduet. Start forfra før du antager, at modellen er blevet dårligere.

Hvor stort et vindue har du faktisk brug for?

Match vinduet til opgaven i stedet for at lede efter det største tal. For det aktuelle tal på enhver specifik model lister context window sammenligningen hele kataloget i tokens og sider.

Dit arbejde	Hvad du har brug for	Hvorfor
Mails, udkast, hurtige spørgsmål	Hvad som helst moderne	Du vil aldrig komme tæt på grænsen
Redigering af lange dokumenter	100.000 plus	Dokumentet plus din samtale om det
Kontrakt- og politikgennemgang	200.000 plus, og verificer	Dokumentet plus ræsonnementet om det, med forbeholdet ovenfor
Ræsonnement på tværs af en hel kodebase	Det største tilgængelige	Kode er token-tæt, og ræsonnement på tværs af filer kræver bredde
Analyse af måneders transskriptioner	Det største tilgængelige, eller hentning	Ofte bedre løst med hentning end med brute force
Bygning af et produkt på et API	Mindre end du tror, plus caching	Lange prompts er hoveddriveren for både omkostning og latens

For de fleste er det ærlige svar, at context window ikke er den afgørende faktor mellem abonnementer. Skrivekvalitet, økosystem og pris betyder mere. Det bliver den afgørende faktor i præcis én situation: dit arbejde involverer jævnligt at fodre mere materiale ind, end et normalt vindue rummer, og i så fald afgør vinduets størrelse, om opgaven overhovedet kan udføres.

Hvis du vil teste det selv, er den praktiske tilgang at køre det samme lange dokument gennem to eller tre modeller og tjekke svarene mod noget du allerede kender. Et arbejdsområde som Whizi gør det nemt, fordi GPT, Claude, Gemini, Grok og DeepSeek sidder bag ét abonnement, og Geminis meget store vindue er ét klik fra Claudes omhyggelige syntese. Se sammenligning af modeller side om side, eller læs hvordan du vælger en AI-model for den bredere beslutning.