Что такое температура в ИИ?

Модель никогда не выбирает слово. Она выбирает из списка

Прочитав ваш запрос, языковая модель выдаёт оценку для каждого токена в своём словаре (от 100 000 до 200 000 у современных моделей) и превращает эти оценки в вероятности: «листья» 45 процентов, «погода» 25, «цвета» 15 и так далее по длинному хвосту. Что такое LLM объясняет, почему это работает именно так. Затем она вытягивает один токен из этого списка, добавляет его и повторяет всё заново.

Температура применяется между оценками и самим выбором. Каждая оценка делится на температуру, прежде чем вычисляются вероятности. При делении на число меньше 1 разрывы между оценками увеличиваются, поэтому фаворит вырывается ещё сильнее вперёд. При делении на число больше 1 разрывы сокращаются, и длинный хвост получает реальный шанс. Ровно при 0 математика сводится к «всегда брать наивысшую оценку», поэтому 0 продают как детерминированный вариант.

Название взято из физики, где более горячий газ имеет больше хаотично движущихся частиц. Более «горячая» модель выбирает слова более хаотично. Знания модели при этом никак не меняются, меняется только сам выбор.

Что число делает с вероятностями, разбор на примере

Возьмём запрос, для которого модель оценивает следующее слово как пять кандидатов с вероятностями 45, 25, 15, 10 и 5 процентов. Это распределение при температуре 1. Применим формулу при 0.5 и при 2, и те же пять кандидатов получат значения ниже. Проценты вычислены по формуле, а не измерены, и такую форму принимает любое реальное распределение.

Посмотрите на пятого кандидата по трём панелям: меньше 1 процента, затем 5, затем 11. На ответе в 500 токенов шанс в 11 процентов на каждом токене взять пятое по вероятности слово накапливается в текст, который блуждает, выдумывает и в итоге перестаёт быть связным (именно это видят люди, когда сдвигают ползунок в плейграунде до 2). И посмотрите на лучшего кандидата: даже при 0.5 он проигрывает один выбор из трёх, так что низкая температура даёт стабильность, а не фиксированный результат.

Этот последний момент важен для слова «детерминированный». В документации API Anthropic сказано, что даже при 0 результаты «не будут полностью детерминированными», и эта оговорка не пустая: арифметика с плавающей точкой на параллельном железе и пакетная обработка на стороне провайдера означают, что один и тот же запрос при 0 может дать два разных ответа. Если вам нужен идентичный вывод, сохраните его, а не полагайтесь на настройку.

Что допускает каждый провайдер и какие у них значения по умолчанию

Три вещи бросаются в глаза. Каждый провайдер по умолчанию ставит 1, а это значит выбор по собственным вероятностям модели, поэтому ответы, которые вы получаете в обычном чате, уже один вариант из множества возможных. Шкала Anthropic заканчивается на 1, поэтому температура Claude в 1 это потолок, а 1 у OpenAI это середина шкалы; цифры разных вендоров нельзя сравнивать напрямую. А модели-рассуждатели отвергают эту настройку: OpenAI указывает температуру как неподдерживаемую для серии o и GPT-5 и возвращает ошибку, если вы её отправите, а Anthropic требует значение 1, когда включено расширенное мышление.

Какую настройку для какой задачи

Правило умещается в одну строку: ниже для задач с единственным правильным ответом, выше для задач со множеством хороших ответов.

Два предостережения. Температура не управляет истинностью. Модель при 0 выбирает свой самый вероятный ответ, и если самый вероятный ответ неверен, он будет неверным каждый раз и с полной уверенностью, что объясняет со стороны обучения что такое галлюцинация ИИ. И температура не рычаг для тона или длины. Это задачи для инструкций, и промпт-инжиниринг для начинающих разбирает их; число решает лишь то, как часто модель рискует со словом.

Почему вы никогда не видели этот ползунок в чат-приложении

ChatGPT, приложение Claude, Gemini и Whizi не показывают управление температурой. Эта настройка живёт в плейграундах разработчиков и в API, и ни один из трёх вендоров не публикует значение, которое использует его собственное приложение. Whizi не отправляет её вовсе, поэтому каждая модель здесь работает со значением провайдера по умолчанию, равным 1. Причина та же, что выше: значение по умолчанию уже подходит для большинства задач, а ползунок не на своём месте превращает хорошего ассистента в плохого, без единого сигнала о том, какая кнопка тому виной.

Вместо ползунка мультимодельная рабочая среда даёт вам более мощный рычаг. Две разные модели, это два разных списка вероятностей, и переключение между ними меняет ответ гораздо сильнее, чем любая температура. Привычка, которая заменяет ползунок: для задачи с одним правильным ответом спросите вторую модель и действуйте только там, где они совпадают; для задачи со множеством хороших ответов спросите две модели и выберите. В Whizi это смена модели прямо посреди разговора, и переключение моделей посреди разговора объясняет, что при этом сохраняется.

Если вам действительно нужен этот рычаг, он есть в собственном API или плейграунде провайдера, для каждого запроса отдельно, и диапазоны из таблицы выше действуют там.