추론 모델이란 무엇인가?

추론 모델은 토큰으로 답하기 전에 토큰으로 생각합니다

일반 모델에 어려운 질문을 하면 곧바로 답을 쓰기 시작합니다. 그 "생각"이라고 할 만한 것은 프롬프트를 읽고 첫 단어를 내놓기까지 네트워크 내부에서 일어나는 일이 전부입니다.

추론 모델은 다르게 작동하도록 학습됩니다. 먼저 흔히 수천 토큰에 이르는 풀이 과정을 써 내려간 다음에야 답을 씁니다. 이 풀이 과정은 모델이 스스로를 위해 생성하는 텍스트입니다. 모델은 한 가지 접근을 시도하고, 모순을 발견하고, 되돌아가고, 계산을 검산한 뒤 마침내 결론을 내립니다. 대부분의 제품은 이 사고 과정을 숨기거나 요약만 보여주며, 이 전체 과정을 "생각(thinking)"이라고 부릅니다.

이 생각 과정은 LLM이란 무엇인가에서 설명하는 것과 같은 다음 토큰 예측을, 문제에 더 오래 적용한 것일 뿐입니다. 추론 모델은 정답을 확인할 수 있는 문제에 대한 강화 학습을 통해, 결론을 내리기 전에 더 많은 토큰을 쓰도록 학습된 언어 모델입니다. 그래서 풀이 과정을 검증할 수 있는 문제에서 가장 큰 도움이 되고, 거쳐야 할 과정이 없는 문제에서는 도움이 가장 적습니다.

아이디어의 기원, 세 개의 날짜로 보기

2022년 1월, 구글의 Jason Wei와 동료들은 프롬프트에 단계별로 풀이된 예시 몇 개를 넣으면 모델의 수학 및 논리 문제 점수가 올라간다는 것을 보였습니다. 이들은 이를 사고사슬(chain-of-thought) 프롬프팅이라고 불렀는데, 단계를 써 내려가는 것이 문제당 더 많은 토큰, 즉 더 많은 연산을 모델에게 준다는 점에서 효과가 있었습니다.

2024년 9월, OpenAI는 요청 시가 아니라 기본값으로 이렇게 작동하도록 학습된 최초의 널리 사용 가능한 모델인 o1을 출시했습니다. 그 배경의 강화 학습은 수학과 코드에서 정답으로 이어지는 사고 과정에 보상을 주었고, 그 결과 모델은 스스로 길고 자기 교정하는 풀이 과정을 만들어내는 법을 배웠습니다.

2025년 1월, DeepSeek는 오픈 가중치와 학습 방식을 설명한 논문과 함께 R1을 공개했고, 이는 모든 연구소가 이 접근법을 재현할 수 있게 되었다는 뜻이었습니다. 그 해가 가기 전에 추론은 하나의 모델이 아니라 하나의 모드가 되었습니다. GPT, Claude, Gemini 안의 토글이 되었고, 더 넓은 카탈로그에는 Kimi K2 Thinking 같은 전용 라인업도 생겼습니다.

생각이 값어치를 할 때, 그리고 순수한 비용일 때

모든 벤치마크와 모든 실제 작업에서 패턴은 동일합니다. 추론은 문제의 단계 수와 답을 검증할 수 있는 정도에 비례해 도움이 됩니다.

정직하게 밝힐 한계가 두 가지 있습니다. 생각은 사실에 대한 환각을 고쳐주지 않습니다. 한 나라의 수도를 모르는 모델은 더 확신에 찬 태도로 틀린 답으로 추론해 갈 뿐입니다. 그리고 긴 사고사슬은 짧은 답에서는 일어나지 않는 방식으로 잘못될 수 있습니다. 모델이 스스로를 설득해 처음의 올바른 직감을 버리는 것입니다. 쉬운 질문에서는 긴 사고사슬이 일반 모델의 첫 답보다 더 나쁜 결론에 이르기도 합니다.

생각의 비용: 토큰, 시간, 크레딧

사고사슬은 출력 토큰, 즉 비싼 종류의 토큰입니다. AI에서 토큰이란 무엇인가에서 보여주듯, 모든 주요 모델에서 출력은 입력보다 다섯 배에서 여섯 배 더 비쌉니다. 300토큰짜리 답을 내놓기 전에 3,000토큰의 풀이 과정을 쓰는 추론 턴은 일반 답변보다 열 배 많은 출력을 생성한 셈입니다. 출력은 한 번에 토큰 하나씩 생성되기 때문에 시간도 대략 열 배가 걸립니다.

이제 리더보드는 이 다이얼에 직접 가격을 매깁니다. Artificial Analysis는 각 제공사가 노출하는 모든 노력 설정에서 모델을 채점하므로, 그 비용을 측정할 수 있습니다. 같은 모델이 최저와 최고 추론 노력 설정에서 각각 어떤 Intelligence Index 점수를 받는지 양 끝에 표시됩니다. 아래 세 개의 사다리는 2026-09-17에 확인한 것입니다.

모든 설정을 그래프로 그려보면 곡선들이 시사하는 바가 있는 방식으로 교차합니다. GPT-6 Astra는 백만 토큰당 $2.31에 53점에 도달합니다. Claude Fable 5.1은 $5.98에 같은 53점에 도달합니다. Claude Opus 5는 최대 노력 설정에서 $5.86에 51점에 그쳐 둘보다 2점 낮습니다. 노력은 어느 곡선에서든 점수를 사지만, 어느 곡선 위에 있느냐가 그 점수의 비용을 결정합니다.

Whizi의 Auto 라우터는 이것을 눈에 보이는 고정 가격으로 바꿉니다. Auto는 각 메시지를 읽고 여섯 단계 중 하나로 보내며, 이 단계가 크레딧 비용을 결정합니다. 다단계 추론은 Powerhouse에서 최상위 단계를 차지합니다. Pro는 10크레딧 코드 단계까지 올라가고, Starter는 1크레딧짜리 하우스 모델에 머무릅니다.

추론 턴은 20크레딧, 빠른 질문은 1크레딧으로, 이 20대1 격차는 그 아래에 있는 토큰 비용을 그대로 반영합니다. Auto는 낭비도 거부합니다. 다시 쓰기나 조회로 분류된 새 메시지는 1크레딧 또는 2크레딧 단계로 보내지고, 이미 추론 단계를 얻은 스레드의 후속 메시지는 이전 턴의 모델이 하한선 역할을 하므로 그 단계에 머무릅니다. Auto가 모델을 고르는 방법에서 각 행 뒤에 있는 모델과 함께 단계 표를 볼 수 있습니다.

어디서나 비용을 치르지 않고 생각 모드를 쓰는 법

생각을 켜 두는 설정이 아니라 필요할 때 꺼내 쓰는 도구로 다루세요.

1. 기본값은 빠른 모델로 두세요. 대부분의 메시지는 조회, 다시 쓰기, 짧은 질문입니다. 생각은 시간과 크레딧만 더할 뿐 아무것도 바꾸지 않습니다.
2. 어려운 턴에서만 켜세요. 질문에 여러 단계가 있고 답을 검증할 수 있을 때, 그 메시지 하나만 추론 모델로 옮기거나 생각 모드를 켰다가 다시 되돌리세요.
3. 프롬프트에 제약 조건을 넣으세요. 추론 모델은 자신의 계획을 대조해 검증할 규칙이 있을 때 가장 뛰어납니다. "40시간 안에 끝나야 하고, 금요일에는 회의 없이, 출시는 12일"과 같은 프롬프트가 기다릴 만한 가치가 있습니다.
4. 풀이 과정이 보이면 읽으세요. 사고사슬은 모델이 잘못된 가정을 드러내는 곳입니다. 첫 단계가 틀리면 아무리 오래 생각해도 답은 틀립니다.
5. 사실 확인에는 쓰지 마세요. 그럴 때는 검색이나 문서, 또는 다른 모델을 사용하세요. AI 환각이란 무엇인가에서 왜 더 많은 생각이 그런 경우 도움이 되지 않는지 설명합니다.

한 줄로 정리한 판단 기준은 이렇습니다. 누군가의 답을 믿기 전에 그 풀이 과정을 보고 싶다면 추론 모델을 쓰세요. 그렇지 않다면 그 비용을 치르지 마세요.