Що таке токени в ШІ?

Коротка відповідь

Токен, це одиниця тексту, яку модель ШІ читає й пише: слово, частина слова або розділовий знак. В англійській мові один токен це приблизно чотири символи, тож 1000 токенів це приблизно 750 слів. Провайдери встановлюють ціну за мільйон токенів, причому вихідні токени коштують у пʼять-шість разів дорожче за вхідні.

Токен, це частина слова, а не слово

Моделі не читають літери і не читають слова. Перш ніж ваше повідомлення дійде до моделі, токенізатор розбиває його на фрагменти з фіксованого словника у десятки тисяч частин. Поширені слова, це один токен. Рідкісні слова, два або три. "The" це один токен; "tokenization" зазвичай два або три; довгий URL може бути десятками.

Емпіричне правило, яке публікує OpenAI для англійського тексту: один токен це приблизно чотири символи, або приблизно три чверті слова. Тож 100 токенів це приблизно 75 слів, а 1000 токенів це сторінка з половиною.

Дві речі змушують підрахунок плавати. Код виходить щільнішим, ближче до одного токена на три символи, через символи та відступи. А мови, які менше представлені в даних навчання токенізатора, коштують дорожче: той самий смисл тайською, гінді або арабською може займати у два-три рази більше токенів, ніж англійська версія, що має значення, якщо ви платите за токен і пишете однією з них.

Ви можете переконатися самі. Вставте будь-який текст у калькулятор вартості токенів, і він покаже кількість та ціну для кожної моделі.

Вхідні та вихідні токени, це дві різні ціни

Кожне повідомлення має дві половини. Вхідні токени, це все, що читає модель: ваше питання, системні інструкції, розмова досі, будь-який доданий файл. Вихідні токени, це те, що модель пише у відповідь.

Провайдери стягують плату за них за різними тарифами, і різниця не мала. Таблиця це прайсова ціна за мільйон токенів з індексу вартості моделей ШІ, з цінами, отриманими від OpenRouter 2026-08-20.

МодельВхід, $ за мільйонВихід, $ за мільйонСпіввідношення вихід/вхід
GPT-5.6 Luna$0.20$1.206x
Gemini 3.7 Flash$0.375$1.8755x
Claude Haiku 4.5$1$55x
Claude Sonnet 5$2$105x
GPT-5.6 Terra$2$126x
Claude Opus 5$5$255x
GPT-5.5$5$306x

Вихід дорожчий через те, як працює модель. Читання входу відбувається за один паралельний прохід одразу по всіх токенах. Написання виходу відбувається по одному токену за раз, кожен новий токен потребує ще одного проходу через усю модель. Відповідь на 500 токенів, це 500 послідовних проходів.

Скільки насправді коштує повідомлення, покроково

Візьмемо типовий обмін: питання на 300 слів з абзацом контексту, відповідь на 400 слів. Це приблизно 400 вхідних токенів і 530 вихідних.

  • На GPT-5.6 Luna: 400 × $0.20 за мільйон плюс 530 × $1.20 за мільйон, це $0.00008 плюс $0.00064, приблизно $0.0007. Сім сотих центу.
  • На Claude Sonnet 5: 400 × $2 плюс 530 × $10, за мільйон, це $0.0008 плюс $0.0053, приблизно $0.006. Трохи більше пів центу.
  • На GPT-5.5: 400 × $5 плюс 530 × $30, за мільйон, це $0.002 плюс $0.0159, приблизно $0.018. Майже два центи.

Зверніть увагу, що вихідна половина це від 80 до 90 відсотків рахунку в кожному рядку. Форма повідомлення, а не лише модель, визначає вартість: одне питання, яке просить есе на 2000 слів, це дорогий варіант, а довгий документ з одним коротким питанням про нього, це дешевий варіант на тій самій моделі.

Відступіть на крок, і розкид по всьому каталогу, це вже справжня історія. Кожна модель з ціною в індексі вартості моделей ШІ лежить на лінії нижче за тим, скільки коштує одна стандартна відповідь. Найдешевша, Ling-3.0-flash, коштує $0.000053; найдорожча, Claude Opus 4.7 у швидкому режимі, коштує $0.105: приблизно у 2000 разів більше за ті самі 1500 токенів.

Від 0.005 цента до 10 центів за відповідь: розкид 2,000x серед 100 моделей
0.01 цента0.1 цента1 цент10 центівLing-3.0-flashLlama 4 MaverickGPT-5.6 LunaGemini 3.7 FlashClaude Sonnet 5GPT-5.6 SolClaude Opus 5GPT-5.5Claude Opus 4.7 (Fast)

Другий множник, це історія. У чаті модель перечитує всю розмову на кожному ходу, тож кількість вхідних токенів росте з кожним повідомленням. Розмова на 40 ходів надсилає перше повідомлення 40 разів. Ось чому довгі гілки сповільнюються і чому що таке контекстне вікно це межа, якої ви зрештою досягнете.

Чому підписка приховує лічильник, але не прибирає його

Споживчі плани стягують фіксовану щомісячну плату, і під цією платою кожен провайдер усе одно рахує токени. Підрахунок виявляється у вигляді лімітів на повідомлення, стіни "ви досягли ліміту" та тихого перемикання на меншу модель, коли бюджет закінчується.

Whizi рахує навпаки. Кожна модель має фіксовану ціну в кредитах за повідомлення: 1 кредит для домашньої моделі, 10 для Claude Sonnet 5, 20 для Claude Opus 5 та GPT-5.5, і 100 на самому верху драбини. Число ніколи не залежить від довжини вашого повідомлення чи відповіді. Драбина прив'язана до реального обміну токенами, 3000 токенів на вхід і 800 на вихід на домашній моделі, що коштує близько $0.00156 у витратах провайдера і визначає один кредит. Як працюють кредити Whizi містить повну таблицю.

Обмін свідомий. Лічильник за токен точний і непередбачуваний; кредит за повідомлення трохи щедрий до довгих повідомлень і трохи скупий до коротких, і ви завжди знаєте ціну до того, як натиснете надіслати.

Токени, це ще й межа можливостей

Друга причина, чому токени важливі, це місткість. Кожна модель має контекстне вікно, виміряне в токенах: максимум, який вона може враховувати одночасно, вхід і вихід разом. Claude Haiku 4.5 утримує 200 000 токенів. GPT-5.6 Terra, Claude Sonnet 5 та Gemini 3.7 Flash утримують близько 1 мільйона. При 750 словах на 1000 токенів, мільйон токенів це приблизно 750 000 слів, або близько 1500 сторінок.

Вікно не безкоштовне. Заповнення його коштує вхідних токенів на кожному ході, тож документ на 300 000 токенів, якому поставили десять питань, це 3 мільйони вхідних токенів, що коштує $6 на Claude Sonnet 5 за прайсовою ціною. Пошук (retrieval), коли застосунок шукає в документі і надсилає лише релевантні сторінки, існує саме для того, щоб уникнути такого рахунку. Що таке RAG пояснює механізм, а порівняння контекстних вікон містить ліміт кожної моделі в одній таблиці. Надсилайте сторінки, які потрібні для питання, а не весь файл.

Контрольний список
  • Оцінюйте токени як чотири символи для англійської, три для коду, і подвоюйте чи потроюйте для менш поширених мов
  • Вважайте, що вихід коштує у пʼять-шість разів дорожче за вхід, тож тримайте довжину відповіді відповідною до потреби
  • Починайте нову розмову, коли гілка стає довгою, кожен хід пересилає всю історію заново
  • Надсилайте лише релевантні сторінки довгого документа, або використовуйте інструмент, який шукає за вас, замість усього файлу на кожне питання
  • Перевіряйте ціну за повідомлення перед вибором моделі, флагман коштує у 5-25 разів дорожче за малу модель у тій самій родині

Поширені запитання

Скільки токенів в одному слові?

Приблизно 1,3 токена на англійське слово в середньому, або три чверті слова на токен. Короткі поширені слова, це один токен; довші або рідкісні слова розбиваються на два чи більше. Опубліковане OpenAI емпіричне правило, чотири символи на токен, що робить 1000 токенів приблизно 750 словами.

Чому вихідні токени коштують дорожче за вхідні?

Тому що модель генерує вихід по одному токену за раз, і кожен токен потребує повного проходу через мережу, тоді як вхід вона читає за один паралельний прохід. На великих моделях вихідна ставка у пʼять-шість разів вища за вхідну: $2 на вхід і $10 на вихід за мільйон на Claude Sonnet 5, $5 на вхід і $30 на вихід на GPT-5.5, за прайсовими цінами OpenRouter, отриманими 2026-08-20.

Чи стягує підписка плату за токен?

Не в рахунку, але так, під капотом. Плани з фіксованою платою встановлюють ліміти на повідомлення і тихо переводять вас на меншу модель, коли бюджет закінчується, і обидва варіанти це облік токенів у прихованому вигляді. Whizi натомість стягує фіксовану кількість кредитів за повідомлення, від 1 кредиту на домашній моделі до 20 на Claude Opus 5 та GPT-5.5, тож ціна відома до відправлення.

Скільки слів у 1000 токенів?

Приблизно 750 слів англійської прози, близько сторінки з половиною. Код щільніший, ближче до 600 слів коду на 1000 токенів, а текст мовами, які токенізатор обробляє менш ефективно, може бути лише 300-400 слів на ті самі 1000 токенів.

Чи однакові токени в ChatGPT, Claude та Gemini?

Ні. Кожна родина моделей має власний токенізатор із власним словником, тож те саме речення може рахуватися по-різному від однієї моделі до іншої. Правило чотирьох символів приблизно вірне для всіх них як оцінка. Для точного підрахунку в конкретній моделі вставте текст в інструмент токенізації.