Hva er et kontekstvindu? AI-grensen som forklarer alt

Et kontekstvindu er modellens hele arbeidsminne

Et kontekstvindu er den totale mengden tekst en modell kan holde i sikte på én gang. Alt modellen vet om den aktuelle samtalen din, må få plass innenfor det: instruksjonene dine, hver melding dere begge har sendt, hver fil du har lastet opp, og svaret den er i ferd med å skrive.

Et nyttig tankebilde: modellen har ikke noe minne om samtalen din i det hele tatt. Hver gang du sender en melding, blir hele samtalen så langt gitt til den på nytt, den leser alt sammen, og skriver det neste svaret. Kontekstvinduet er størrelsen på pulten den transkripsjonen må få plass på. Når pulten er full, må noe fjernes.

Det er derfor en AI kan virke skarp i tjue meldinger og så begynne å motsi seg selv, glemme en begrensning du satte i starten, eller be om en fil du allerede har gitt den. Den tidlige delen av samtalen falt av pulten.

Ett skille du bør få riktig med en gang, fordi det skaper mye forvirring: kontekstvinduet er ikke det samme som minne. Produkter som ChatGPT og Claude har en egen minnefunksjon som lagrer fakta om deg mellom samtaler og stille legger dem inn i nye. Det er en produktfunksjon bygget oppå modellen. Kontekstvinduet er en fast egenskap ved selve modellen, og ingen minnefunksjon gjør det større.

Ett token er omtrent tre firedeler av et ord

Kontekstvinduer måles i tokens, ikke ord, fordi modeller ikke leser ord. Token er ett av ordene AI-ordboken definerer i én setning, sammen med rundt femti andre rundt det. De leser biter: vanlige ord er som regel ett token, lengre eller uvanlige ord deles opp i flere, og tegnsetting og mellomrom teller også.

Omtrentlige omregninger verdt å huske:

• 1 token er omtrent 4 tegn engelsk, eller rundt tre firedeler av et ord. Hva er tokens i AI dekker enheten grundig.
• 1000 tokens er grovt sett 750 ord, omtrent halvannen side normal prosa.
• Kode er tettere. Regn med nærmere ett token per tre tegn på grunn av symboler, innrykk og uvanlige navn.
• Andre språk er mindre effektive. Tekst på språk som er mindre representert i tokeniseringen, kan ta to eller tre ganger så mange tokens for samme mening, verdt å vite hvis du betaler per token.

Det gir deg en måte å se for deg tallene du møter i markedsføringsmateriell:

Kontekstvindu	Tilsvarer omtrent
8000 tokens	En lang artikkel
32 000 tokens	Et kort forskningsnotat med kommentarer
128 000 tokens	En bok på 300 sider
200 000 tokens	En tett teknisk manual, eller en mellomstor kodebase
1 000 000 tokens	Flere bøker, eller et år med møtetranskripsjoner

Det viktige denne tabellen skjuler: grensen dekker hele samtalen, ikke hver melding. Et kontekstvindu på 128 000 tokens betyr ikke at du kan sende 128 000 tokens gjentatte ganger. Det betyr at løpende sum av alt, inkludert modellens egne svar, må holde seg under det tallet.

Hva fyller egentlig opp vinduet ditt?

Folk blir som regel overrasket over hvor fort vinduet fylles, fordi det meste som havner i det, er usynlig. I en typisk chatøkt leser modellen alt av følgende ved hver eneste tur:

1. Systemprompten. Instruksjoner produktet sender før du skriver noe: hvordan modellen skal oppføre seg, hvilke verktøy som finnes, dagens dato, sikkerhetsregler. Ofte tusenvis av tokens, og du ser den aldri.
2. Dine egne instruksjoner eller minne. Alt produktet har lagret om deg og legger inn automatisk.
3. Hver tidligere melding, din og modellens, i sin helhet. Modellens lange svar teller også, og er som regel de største bidragsyterne.
4. Hver opplastede fil, eller de uttrukne delene av den. En PDF på 40 sider er grovt sett 20 000 til 30 000 tokens.
5. Verktøy- og søkeresultater. Et websøk som henter fem sider, kan legge til mer enn hele samtalen din så langt.
6. Svaret som genereres. Utdata deler samme budsjett som inndata.

Det er derfor en samtale som føltes kort, kan være nær grensen. Du sendte åtte korte meldinger, men modellen skrev åtte lange svar, du la ved to dokumenter, og den kjørte tre søk. Den synlige delen av det er kanskje ti prosent av totalen.

Det er også derfor løsningen på en forvirret samtale så ofte er "start en ny chat". Du tilbakestiller ikke modellens humør. Du rydder pulten.

Kvaliteten faller før den oppgitte grensen

Dette er den delen som betyr mest og diskuteres minst. En modells kvalitet ligger ikke flatt helt opp til grensen for så å stupe. Den faller gradvis, og den begynner å falle godt før grensen.

Den best dokumenterte versjonen av dette kalles ofte lost in the middle-effekten. Plasser et spesifikt faktum i starten av et langt dokument, og modellen finner det. Plasser det på slutten, og modellen finner det. Begrav det i midten, og nøyaktigheten faller: i de opprinnelige Lost in the Middle-forsøkene (Liu et al., 2023, lenket under), kostet det å flytte nøkkeldokumentet fra kantene av inndataene til midten modellene rundt 20 poeng i nøyaktighet. Oppmerksomhet er ikke jevnt fordelt over lange inndata, og kantene får mer av den.

Det blir enda vanskeligere når oppgaven krever å kombinere flere fakta spredt over lange inndata. Å finne én nål i en høystakk er et løst problem. Å finne fire nåler og resonnere om forholdet mellom dem, er det ikke, og det er nøyaktig den oppgaven folk bruker store kontekstvinduer til.

Så behandle det oppgitte tallet som en maksimal kapasitet, ikke et komfortabelt arbeidsområde. En praktisk tommelfingerregel fra faktisk bruk: du får pålitelig oppførsel opp til rundt halvparten av det oppgitte vinduet, og du bør verifisere alt utover det i stedet for å stole på det. Hvis en modell forteller deg at en kontrakt på 300 sider ikke inneholder noen oppsigelsesklausul, sjekk det, særlig hvis klausulen ville ligget midt i.

Sammenligningskonsekvensen: et vindu på én million tokens garanterer at en modell kan ta imot et lengre dokument enn et vindu på 200 000 tokens, og garanterer ingenting annet. Om den resonnerer godt over alt sammen, er et eget spørsmål, og den eneste måten å vite det på er å teste med et dokument der du allerede vet svaret.

Hva skjer når du går tom

Ulike produkter håndterer overflyt forskjellig, og å vite hvilken du bruker forklarer mye rar oppførsel.

Oppførsel	Hva du ser	Hvor det skjer
Hard feil	Forespørselen avvises med en melding om lengde	Det meste av direkte API-bruk
Stille avkutting	De eldste meldingene fjernes uten beskjed	Mange chat-grensesnitt
Rullerende sammendrag	Gamle meldinger komprimeres til et sammendrag	Stadig vanligere i chat-produkter
Henting	Bare relevante deler av dokumentene dine hentes per tur	Dokument- og kunnskapsbaseverktøy

Stille avkutting er den som skaper reelle problemer, fordi ingenting varsler om den. Symptomet er en modell som plutselig ignorerer en regel du satte i starten, går tilbake til en tone du rettet for en time siden, eller stiller et spørsmål du allerede har svart på. De instruksjonene ligger rett og slett ikke på pulten lenger.

Rullerende sammendrag er bedre, men ufullstendige. Et sammendrag beholder essensen og dropper detaljene, så begrensningen "bruk aldri ordet synergi" overlever som "brukeren har stilpreferanser", noe som ikke hjelper deg i det hele tatt.

Sju taktikker som faktisk virker

Disse er rangert etter hvor stor forskjell de gjør i forhold til innsatsen.

Start en ny chat når temaet endrer seg. Den enkeltvis mest verdifulle vanen. En lang samtale bærer kostnaden av alt som kom før, inkludert sidespor som ikke lenger er relevante, og hvert sidespor som fortsatt ligger på pulten, fortynner det neste svaret.

Sett spørsmålet ditt etter det lange materialet, ikke før. Hvis du limer inn et dokument og så spør, ligger spørsmålet nær der svaret genereres, noe som målbart forbedrer nøyaktigheten på lange inndata. Lim inn først, spør etterpå.

Gjenta viktige begrensninger. I enhver samtale over rundt femten utvekslinger, gjenta reglene som betyr noe i meldingen der de betyr noe: "som en påminnelse, britisk engelsk, ingen kulepunkter, under 400 ord". Det koster deg én linje, og det overlever avkutting.

Send de relevante sidene, ikke hele boken. Hvis du trenger at modellen sjekker skadesløsholdelsesklausulen, gi den klausulen og naboene dens. Presisjon slår volum: et fokusert utdrag er billigere å sende, og modellen leser det mer nøyaktig enn en hel bok.

Oppsummer og start på nytt bevisst. Når en arbeidsøkt blir lang, be om en strukturert overlevering: nåværende status, beslutninger tatt, åpne spørsmål, begrensninger. Lim det inn i en ny chat. Du beholder innholdet og fjerner støyen, og du vil legge merke til at modellen blir skarpere umiddelbart.

Bruk henting for alt som ikke får plass. Hvis materialet ditt reelt sett er større enn noe vindu, er løsningen henting: hent de relevante bitene per spørsmål i stedet for å lete etter et større vindu. Det er det dokumentverktøy gjør bak kulissene.

Se etter forverring, ikke bare feil. Hvis svarene blir vagere, tar flere forbehold, eller begynner å ignorere formatinstruksjoner, er du sannsynligvis dypt inne i vinduet. Start på nytt før du antar at modellen har blitt dårligere.

Hvor stort vindu trenger du egentlig?

Match vinduet til jobben i stedet for å lete etter det største tallet. For gjeldende tall for en spesifikk modell viser tabellen for sammenligning av kontekstvinduer hele katalogen i tokens og sider.

Arbeidet ditt	Hva du trenger	Hvorfor
E-post, utkast, raske spørsmål	Hva som helst moderne	Du kommer aldri i nærheten av grensen
Redigering av lange dokumenter	100 000 pluss	Dokumentet pluss samtalen din om det
Kontrakt- og regelverksgjennomgang	200 000 pluss, og verifiser	Dokumentet pluss resonnementet om det, med forbeholdet over
Resonnering på tvers av en hel kodebase	Det største tilgjengelige	Kode er token-tett, og resonnering på tvers av filer krever bredde
Analysere måneder med transkripsjoner	Det største tilgjengelige, eller henting	Ofte bedre løst med henting enn med rå kraft
Bygge et produkt på et API	Mindre enn du tror, pluss caching	Lange prompter er hoveddriveren for både kostnad og ventetid

For de fleste er det ærlige svaret at kontekstvindu ikke er det avgjørende for valg av abonnement. Skrivekvalitet, økosystem og pris betyr mer. Det blir avgjørende i nøyaktig én situasjon: arbeidet ditt innebærer jevnlig å mate inn mer materiale enn et normalt vindu rommer, og i så fall avgjør vindustørrelsen om jobben kan gjøres i det hele tatt.

Hvis du vil teste det selv, er den praktiske tilnærmingen å kjøre det samme lange dokumentet gjennom to eller tre modeller og sjekke svarene mot noe du allerede vet. En arbeidsflate som Whizi gjør det enkelt fordi GPT, Claude, Gemini, Grok og DeepSeek ligger bak ett abonnement, og Geminis svært store vindu er ett klikk unna Claudes omhyggelige sammenstilling. Se sammenlign modeller side om side, eller les hvordan velge en AI-modell for det bredere valget.