Vad är tokens ai? En genomgång av tokens i AI

En token är en bit av ett ord, inte ett ord

Modeller läser varken bokstäver eller ord. Innan ditt meddelande når modellen delar en tokeniserare upp det i bitar från ett fast vokabulär på tiotusentals fragment. Vanliga ord är en token. Ovanliga ord är två eller tre. "The" är en token, "tokenization" är oftast två eller tre, och en lång URL kan vara ett dussintal.

Tumregeln som OpenAI publicerar för engelsk text: en token är ungefär fyra tecken, eller cirka tre fjärdedelar av ett ord. Så 100 tokens är ungefär 75 ord, och 1 000 tokens är en sida och en halv.

Två saker gör att antalet varierar. Kod blir tätare, närmare en token per tre tecken, på grund av symboler och indrag. Och språk som är mindre representerade i tokeniserarens träningsdata kostar mer: samma innebörd på thailändska, hindi eller arabiska kan ta två till tre gånger så många tokens som den engelska versionen, vilket spelar roll om du betalar per token och skriver på ett av dem.

Du kan se det själv. Klistra in valfri text i tokenkostnadskalkylatorn så visar den antalet och priset i varje modell.

Input-tokens och output-tokens har två olika priser

Varje meddelande har två delar. Input-tokens är allt modellen läser: din fråga, systeminstruktionerna, konversationen hittills, en bifogad fil. Output-tokens är det modellen skriver tillbaka.

Leverantörer tar olika betalt för de två, och skillnaden är inte liten. Tabellen är listpris per miljon tokens från AI-modellernas kostnadsindex, med priser hämtade från OpenRouter den 2026-08-20.

Output är dyrare på grund av hur modellen körs. Att läsa indatan sker i en parallell passering över alla tokens på en gång. Att skriva utdatan sker en token i taget, där varje ny token kräver ytterligare en passering genom hela modellen. Ett svar på 500 tokens är 500 sekventiella passeringar.

Vad ett verkligt meddelande kostar, uträknat

Ta en typisk utväxling: en fråga på 300 ord med ett stycke kontext, besvarad med 400 ord. Det motsvarar ungefär 400 input-tokens och 530 output-tokens.

• På GPT-5.6 Luna: 400 × $0.20 per miljon plus 530 × $1.20 per miljon, vilket är $0.00008 plus $0.00064, ungefär $0.0007. Sju hundradels cent.
• På Claude Sonnet 5: 400 × $2 plus 530 × $10, per miljon, vilket är $0.0008 plus $0.0053, ungefär $0.006. Drygt en halv cent.
• På GPT-5.5: 400 × $5 plus 530 × $30, per miljon, vilket är $0.002 plus $0.0159, ungefär $0.018. Nästan två cent.

Lägg märke till att output-delen är 80 till 90 procent av kostnaden i varje rad. Meddelandets form, inte bara modellen, avgör kostnaden: en enradig fråga som ber om en essä på 2 000 ord är det dyra mönstret, och ett långt dokument med en enradig fråga om det är det billiga på samma modell.

Zooma ut och spridningen i hela katalogen är själva poängen. Varje prissatt modell i AI-modellernas kostnadsindex placerar sig på linjen nedan efter vad ett standardsvar kostar. Den billigaste, Ling-3.0-flash, kostar $0.000053, den dyraste, Claude Opus 4.7 i sitt snabba läge, kostar $0.105: ungefär 2 000 gånger så mycket för samma 1 500 tokens.

Den andra multiplikatorn är historik. I en chatt läser modellen om hela konversationen vid varje tur, så antalet input-tokens växer med varje meddelande. En konversation med 40 turer skickar det första meddelandet 40 gånger. Det är därför långa trådar blir långsammare och varför vad är ett kontextfönster är den gräns du till slut når.

Varför ett abonnemang döljer mätaren men inte tar bort den

Konsumentplaner tar en fast månadsavgift, och under den avgiften räknar varje leverantör fortfarande tokens. Räkningen syns som meddelandetak, väggen "du har nått din gräns", och den tysta växlingen till en mindre modell när budgeten tar slut.

Whizi mäter tvärtom. Varje modell har ett fast kreditpris per meddelande: 1 kredit för husmodellen, 10 för Claude Sonnet 5, 20 för Claude Opus 5 och GPT-5.5, och 100 högst upp i stegen. Antalet beror aldrig på hur långt ditt meddelande eller svaret var. Stegen är förankrad i en verklig tokentur, 3 000 tokens in och 800 ut på husmodellen, vilket kostar ungefär $0.00156 i leverantörskostnad och definierar en kredit. Så fungerar Whizi-krediter har hela tabellen.

Bytet är medvetet. En mätare per token är exakt och oförutsägbar, en kredit per meddelande är lite generös mot långa meddelanden och lite snål mot korta, och du vet alltid priset innan du trycker skicka.

Tokens är också kapacitetsgränsen

Den andra anledningen till att tokens spelar roll är kapacitet. Varje modell har ett kontextfönster mätt i tokens: det maximala den kan beakta samtidigt, input och output tillsammans. Claude Haiku 4.5 rymmer 200 000 tokens. GPT-5.6 Terra, Claude Sonnet 5 och Gemini 3.7 Flash rymmer omkring 1 miljon. Med 750 ord per 1 000 tokens är en miljon tokens ungefär 750 000 ord, eller omkring 1 500 sidor.

Fönstret är inte gratis. Att fylla det kostar input-tokens vid varje tur, så ett dokument på 300 000 tokens som får tio frågor är 3 miljoner input-tokens, vilket är $6 på Claude Sonnet 5 till listpris. Hämtning (retrieval), där appen söker i dokumentet och skickar bara de relevanta sidorna, finns för att undvika exakt den kostnaden. Vad är RAG förklarar mekanismen, och jämförelse av kontextfönster har varje modells gräns i en enda tabell. Skicka de sidor frågan behöver, aldrig hela filen.