AI temperature 설정이란? 뜻과 쓰는 법

모델은 단어를 고르지 않는다. 목록에서 뽑을 뿐이다

프롬프트를 읽은 뒤 언어 모델은 어휘 목록에 있는 모든 토큰(현재 모델 기준 10만에서 20만 개)에 점수를 매기고, 그 점수를 확률로 바꿉니다. "나뭇잎" 45퍼센트, "날씨" 25, "색깔" 15, 이런 식으로 긴 꼬리까지 이어집니다. LLM이란 무엇인가에서 왜 이런 방식으로 작동하는지 다룹니다. 그다음 그 목록에서 토큰 하나를 뽑아 붙이고, 이 과정을 다시 반복합니다.

temperature는 점수 계산과 뽑기 사이에 적용됩니다. 확률을 계산하기 전에 모든 점수를 temperature 값으로 나눕니다. 1보다 작은 값으로 나누면 점수 간 격차가 벌어져서 1위 후보가 더 크게 앞서 나갑니다. 1보다 큰 값으로 나누면 격차가 줄어들어 긴 꼬리에 있는 후보들도 실제로 뽑힐 기회를 얻습니다. 정확히 0에서는 계산식이 "항상 최고 점수를 선택"으로 붕괴하는데, 이 때문에 0이 결정론적이라고 소개됩니다.

이 이름은 물리학에서 빌려온 것으로, 더 뜨거운 기체일수록 입자가 더 무작위로 움직입니다. 더 뜨거운 모델일수록 단어를 더 무작위로 고릅니다. 모델이 알고 있는 지식은 전혀 바뀌지 않고, 오직 뽑는 방식만 달라집니다.

이 숫자가 확률에 미치는 영향, 실제 계산으로 보기

어떤 프롬프트의 다음 단어를 모델이 45, 25, 15, 10, 5퍼센트로 다섯 후보를 평가한다고 해봅시다. 이것이 temperature 1에서의 분포입니다. 이 공식을 0.5와 2에 적용하면 같은 다섯 후보가 아래처럼 나옵니다. 이 퍼센트는 실측이 아니라 공식으로 계산한 값이며, 실제 모든 분포가 이런 모양을 보입니다.

세 그래프에서 5위 후보를 따라가 보면 1퍼센트 미만에서 5, 그리고 11로 이어집니다. 500토큰짜리 답변에서 토큰마다 11퍼센트 확률로 5위 단어를 고르는 일이 쌓이면, 결국 사람들이 플레이그라운드 슬라이더를 2로 올렸을 때 보는 것처럼 글이 산으로 가고 없는 이야기를 지어내다가 말이 안 되기 시작합니다. 1위 후보도 살펴보면, 0.5에서조차 3번 중 1번은 지므로 낮은 temperature는 고정된 것이 아니라 일관될 뿐입니다.

이 마지막 지점이 "결정론적"이라는 말에 중요합니다. Anthropic의 API 레퍼런스는 0에서도 결과가 "완전히 결정론적이지는 않을 것"이라고 밝히는데, 이 단서는 실제입니다. 병렬 하드웨어의 부동소수점 연산과 제공사 쪽의 배치 처리 때문에 0으로 설정한 같은 프롬프트도 서로 다른 답을 낼 수 있습니다. 동일한 결과가 꼭 필요하다면 설정에 기대지 말고 결과 자체를 저장해 두세요.

제공사별 허용 범위와 기본값

눈에 띄는 점이 세 가지 있습니다. 모든 제공사가 기본값을 1로 두는데, 이는 모델 자체의 확률 분포에서 그대로 뽑는다는 뜻이므로, 평범한 채팅에서 받는 답변도 이미 수많은 뽑기 중 하나입니다. Anthropic의 척도는 1에서 끝나므로 Claude의 temperature 1은 상한선이지만 OpenAI의 1은 중간값이라, 두 회사의 숫자는 서로 비교할 수 없습니다. 그리고 추론 모델은 이 설정을 거부합니다. OpenAI는 o 시리즈와 GPT-5에서 temperature를 지원하지 않는다고 명시하고 보내면 오류를 반환하며, Anthropic은 확장 사고가 켜져 있을 때는 항상 1을 요구합니다.

작업별로 어떤 값을 써야 할까

규칙은 한 줄로 요약됩니다. 정답이 있는 작업은 낮게, 좋은 답이 여러 개인 작업은 높게.

주의할 점이 두 가지 있습니다. temperature는 사실 여부를 통제하지 않습니다. temperature 0인 모델은 가장 그럴듯한 답을 고르는데, 그 답이 틀렸다면 매번 완전한 확신을 갖고 틀리게 되며, 이는 AI 환각이란 무엇인가에서 학습 쪽 관점으로 설명합니다. 그리고 temperature는 어조나 길이를 조절하는 손잡이가 아닙니다. 그건 지시문에 속하는 부분이고, 초보자를 위한 프롬프트 엔지니어링이 이를 다룹니다. 이 숫자는 오직 모델이 단어에 얼마나 자주 모험을 거는지만 정합니다.

채팅 앱에서 이 슬라이더를 본 적이 없는 이유

ChatGPT, Claude 앱, Gemini, Whizi 모두 temperature 조절 기능을 노출하지 않습니다. 이 설정은 개발자용 플레이그라운드와 API에만 있고, 세 회사 모두 자사 앱이 어떤 값을 쓰는지 공개하지 않습니다. Whizi는 이 값을 전혀 보내지 않으므로, 여기 있는 모든 모델은 제공사 기본값인 1로 동작합니다. 이유는 앞서 말한 그대로입니다. 기본값이 이미 대부분의 작업에 맞는 설정이고, 엉뚱한 곳에 슬라이더를 두면 좋은 어시스턴트를 나쁘게 만들면서도 어느 손잡이가 원인인지 알려주는 신호조차 없기 때문입니다.

멀티 모델 워크스페이스가 대신 주는 것은 더 큰 지렛대입니다. 서로 다른 두 모델은 서로 다른 확률 목록이고, 모델을 바꾸는 것이 어떤 temperature 조정보다 답을 훨씬 크게 바꿉니다. 슬라이더를 대신하는 습관은 이렇습니다. 정답이 하나인 작업이라면 다른 모델에도 물어보고 둘이 일치하는 부분만 채택하세요. 좋은 답이 여러 개인 작업이라면 두 모델에 물어보고 고르세요. Whizi에서는 대화 도중 모델을 바꾸는 것이 이에 해당하며, 대화 도중 모델 바꾸기에서 무엇이 그대로 이어지는지 다룹니다.

그래도 이 손잡이가 꼭 필요하다면 제공사 자체의 API나 플레이그라운드에서 요청 단위로 조절할 수 있으며, 위 표의 범위가 그대로 적용됩니다.