Co to są tokeny w AI?

Token to fragment słowa, nie słowo

Modele nie czytają liter ani słów. Zanim twoja wiadomość dotrze do modelu, tokenizer dzieli ją na fragmenty ze stałego słownika liczącego dziesiątki tysięcy elementów. Popularne słowa to jeden token. Rzadkie słowa to dwa lub trzy. "The" to jeden token; "tokenization" to zwykle dwa lub trzy; długi adres URL może zająć kilkadziesiąt.

Zasada, którą publikuje OpenAI dla tekstu angielskiego: jeden token to około cztery znaki, czyli około trzy czwarte słowa. Zatem 100 tokenów to mniej więcej 75 słów, a 1000 tokenów to strona i pół.

Dwie rzeczy powodują, że liczba się waha. Kod jest gęstszy, bliżej jednego tokena na trzy znaki, ze względu na symbole i wcięcia. A języki słabiej reprezentowane w danych treningowych tokenizera kosztują więcej: to samo znaczenie w języku tajskim, hindi czy arabskim może zająć dwa do trzech razy więcej tokenów niż wersja angielska, co ma znaczenie, jeśli płacisz za token i piszesz w jednym z nich.

Możesz to sprawdzić sam. Wklej dowolny tekst do kalkulatora kosztu tokenów, a zobaczysz liczbę i cenę dla każdego modelu.

Tokeny wejściowe i wyjściowe to dwie różne ceny

Każda wiadomość ma dwie połowy. Tokeny wejściowe to wszystko, co model czyta: twoje pytanie, instrukcje systemowe, dotychczasową rozmowę, każdy załączony plik. Tokeny wyjściowe to to, co model odpisuje.

Dostawcy naliczają obie części w różnych stawkach, a różnica nie jest mała. Tabela pokazuje cenę katalogową za milion tokenów z indeksu kosztu modeli AI, z cenami pobranymi z OpenRouter 2026-08-20.

Wyjście jest droższe ze względu na sposób działania modelu. Odczyt wejścia odbywa się w jednym równoległym przebiegu przez wszystkie tokeny naraz. Pisanie wyjścia odbywa się token po tokenie, każdy nowy token wymaga kolejnego przebiegu przez cały model. Odpowiedź licząca 500 tokenów to 500 sekwencyjnych przebiegów.

Ile naprawdę kosztuje wiadomość, krok po kroku

Weźmy typową wymianę: pytanie na 300 słów z akapitem kontekstu, na które odpowiedziano w 400 słowach. To około 400 tokenów wejściowych i 530 wyjściowych.

• Na GPT-5.6 Luna: 400 × $0.20 za milion plus 530 × $1.20 za milion, czyli $0.00008 plus $0.00064, około $0.0007. Siedem setnych centa.
• Na Claude Sonnet 5: 400 × $2 plus 530 × $10, za milion, czyli $0.0008 plus $0.0053, około $0.006. Nieco ponad pół centa.
• Na GPT-5.5: 400 × $5 plus 530 × $30, za milion, czyli $0.002 plus $0.0159, około $0.018. Prawie dwa centy.

Zauważ, że część wyjściowa to 80 do 90 procent rachunku w każdym wierszu. To kształt wiadomości, nie tylko model, ustala koszt: jednolinijkowe pytanie z prośbą o esej na 2000 słów to drogi wzorzec, a długi dokument z jednolinijkowym pytaniem o niego to tani wzorzec na tym samym modelu.

Spójrzmy szerzej: rozrzut w całym katalogu to prawdziwa historia. Każdy wyceniony model w indeksie kosztu modeli AI znajduje się na poniższej linii według kosztu jednej standardowej odpowiedzi. Najtańszy, Ling-3.0-flash, to $0.000053; najdroższy, Claude Opus 4.7 w trybie szybkim, to $0.105: różnica około 2000 razy dla tych samych 1500 tokenów.

Drugim mnożnikiem jest historia. W czacie model ponownie odczytuje całą rozmowę przy każdej turze, więc liczba tokenów wejściowych rośnie z każdą wiadomością. Rozmowa licząca 40 tur wysyła pierwszą wiadomość 40 razy. Dlatego długie wątki zwalniają i dlatego czym jest okno kontekstu to limit, na który w końcu trafisz.

Dlaczego abonament ukrywa licznik, ale go nie usuwa

Plany konsumenckie pobierają stałą miesięczną opłatę, a pod spodem każdy dostawca nadal liczy tokeny. Liczba ujawnia się jako limity wiadomości, ściana "osiągnąłeś swój limit" i ciche przełączenie na mniejszy model, gdy budżet się kończy.

Whizi liczy odwrotnie. Każdy model ma stałą cenę w kredytach za wiadomość: 1 kredyt za model podstawowy, 10 za Claude Sonnet 5, 20 za Claude Opus 5 i GPT-5.5, i 100 na samym szczycie drabiny. Liczba nigdy nie zależy od długości twojej wiadomości ani odpowiedzi. Drabina jest zakotwiczona w realnej turze tokenów, 3000 tokenów wejścia i 800 wyjścia na modelu podstawowym, co kosztuje około $0.00156 w wydatkach u dostawcy i definiuje jeden kredyt. Jak działają kredyty Whizi zawiera pełną tabelę.

Ten kompromis jest celowy. Licznik za token jest dokładny i nieprzewidywalny; kredyt za wiadomość jest odrobinę hojny dla długich wiadomości i odrobinę skąpy dla krótkich, ale zawsze znasz cenę, zanim naciśniesz wyślij.

Tokeny to też limit pojemności

Drugi powód, dla którego tokeny mają znaczenie, to pojemność. Każdy model ma okno kontekstu mierzone w tokenach: maksimum, jakie może naraz uwzględnić, wejście i wyjście razem. Claude Haiku 4.5 pomieści 200 000 tokenów. GPT-5.6 Terra, Claude Sonnet 5 i Gemini 3.7 Flash pomieszczą około 1 miliona. Przy 750 słowach na 1000 tokenów milion tokenów to mniej więcej 750 000 słów, czyli około 1500 stron.

Okno nie jest darmowe. Wypełnienie go kosztuje tokeny wejściowe przy każdej turze, więc dokument liczący 300 000 tokenów, o który zadano dziesięć pytań, to 3 miliony tokenów wejściowych, co daje $6 na Claude Sonnet 5 w cenie katalogowej. Retrieval, gdzie aplikacja przeszukuje dokument i wysyła tylko odpowiednie strony, istnieje właśnie po to, by uniknąć takiego rachunku. Czym jest RAG wyjaśnia ten mechanizm, a porównanie okien kontekstu zawiera limit każdego modelu w jednej tabeli. Wysyłaj strony, których wymaga pytanie, nigdy cały plik.