Что такое токены в ИИ?

Токен, это кусочек слова, а не слово

Модели не читают буквы и не читают слова. Прежде чем ваше сообщение дойдёт до модели, токенизатор разбивает его на кусочки из фиксированного словаря в десятки тысяч фрагментов. Частые слова, это один токен. Редкие слова, это два три. "Кот" - один токен; "токенизация" обычно два три; длинный URL может занять десятки.

Правило, которое публикует OpenAI для английского текста: один токен занимает примерно четыре символа, или около трёх четвертей слова. Значит 100 токенов, это примерно 75 слов, а 1000 токенов, это полторы страницы.

На счёт влияют две вещи. Код получается плотнее, ближе к одному токену на три символа, из-за символов и отступов. А языки, которые слабее представлены в данных обучения токенизатора, обходятся дороже: тот же смысл на тайском, хинди или арабском может занять в два три раза больше токенов, чем английская версия, и это важно, если вы платите за токен и пишете на одном из них.

Проверьте сами. Вставьте любой текст в калькулятор стоимости токенов, и он покажет количество и цену для каждой модели.

Входные и выходные токены, это две разные цены

У каждого сообщения две половины. Входные токены, это всё, что модель читает: ваш вопрос, системные инструкции, история переписки, любой прикреплённый файл. Выходные токены, это то, что модель пишет в ответ.

Провайдеры назначают разные ставки на эти две части, и разрыв немаленький. В таблице указана прайс-лист цена за миллион токенов из индекса стоимости моделей ИИ, цены взяты с OpenRouter на 2026-08-20.

Выход дороже из-за того, как работает модель. Чтение входа происходит за один параллельный проход по всем токенам сразу. Написание выхода происходит по одному токену за раз, и каждый новый токен требует ещё одного прохода через всю модель. Ответ на 500 токенов, это 500 последовательных проходов.

Сколько стоит реальное сообщение, разбор по шагам

Возьмём типичный обмен: вопрос на 300 слов с абзацем контекста, ответ на 400 слов. Это примерно 400 входных токенов и 530 выходных.

• На GPT-5.6 Luna: 400 × $0.20 за миллион плюс 530 × $1.20 за миллион, это $0.00008 плюс $0.00064, около $0.0007. Семь сотых цента.
• На Claude Sonnet 5: 400 × $2 плюс 530 × $10, за миллион, это $0.0008 плюс $0.0053, около $0.006. Чуть больше половины цента.
• На GPT-5.5: 400 × $5 плюс 530 × $30, за миллион, это $0.002 плюс $0.0159, около $0.018. Почти два цента.

Заметьте, что выходная половина составляет 80-90 процентов счёта в каждой строке. Форма сообщения, а не только модель, определяет цену: короткий вопрос с просьбой написать эссе на 2000 слов, это самый дорогой вариант, а длинный документ с коротким вопросом по нему, это самый дешёвый на той же модели.

Если посмотреть шире, настоящая история, это разброс по всему каталогу. Каждая модель с ценой из индекса стоимости моделей ИИ стоит на линии ниже по цене одного стандартного ответа. Самая дешёвая, Ling-3.0-flash, это $0.000053; самая дорогая, Claude Opus 4.7 в быстром режиме, это $0.105: разница примерно в 2000 раз за те же 1500 токенов.

Второй множитель, это история переписки. В чате модель заново перечитывает весь разговор на каждом ходу, поэтому счёт входных токенов растёт с каждым сообщением. Разговор из 40 ходов отправляет первое сообщение 40 раз. Вот почему длинные диалоги замедляются и почему что такое контекстное окно, это тот предел, в который вы рано или поздно упрётесь.

Почему подписка прячет счётчик, но не убирает его

Потребительские тарифы берут фиксированную плату в месяц, и под этой платой каждый провайдер всё равно считает токены. Счёт проявляется в виде лимитов на сообщения, стены "вы достигли лимита" и тихого перехода на модель поменьше, когда бюджет заканчивается.

Whizi считает в обратную сторону. У каждой модели фиксированная цена в кредитах за сообщение: 1 кредит для домашней модели, 10 для Claude Sonnet 5, 20 для Claude Opus 5 и GPT-5.5, и 100 на самом верху лестницы. Число никогда не зависит от длины вашего сообщения или ответа. Лестница привязана к реальному обмену токенами, 3000 токенов на входе и 800 на выходе на домашней модели, что стоит около $0.00156 в расходах провайдера и определяет один кредит. Как работают кредиты Whizi содержит полную таблицу.

Такой обмен сделан осознанно. Счётчик по токенам точен, но непредсказуем; кредит за сообщение немного щедрее к длинным сообщениям и немного скупее к коротким, зато цену вы знаете ещё до того, как нажали отправить.

Токены, это ещё и предел объёма

Вторая причина, почему токены важны, это объём. У каждой модели есть контекстное окно, измеренное в токенах: максимум, который она может учесть за раз, вход и выход вместе. Claude Haiku 4.5 держит 200 000 токенов. GPT-5.6 Terra, Claude Sonnet 5 и Gemini 3.7 Flash держат около 1 миллиона. При 750 словах на 1000 токенов миллион токенов, это примерно 750 000 слов, или около 1500 страниц.

Окно не бесплатное. Заполнить его стоит входных токенов на каждом ходу, поэтому документ на 300 000 токенов, к которому задали десять вопросов, это 3 миллиона входных токенов, что по прайс-листу Claude Sonnet 5 обойдётся в $6. Извлечение, при котором приложение ищет в документе и отправляет только нужные страницы, существует именно для того, чтобы избежать такого счёта. Что такое RAG объясняет механизм, а сравнение контекстных окон содержит лимит каждой модели в одной таблице. Отправляйте те страницы, которые нужны для вопроса, а не весь файл.