推論モデルは、トークンで答える前にトークンで考える
標準的なモデルに難しい質問をすると、すぐに答えを書き始めます。その「思考」と呼べるものは、プロンプトを読んでから最初の単語を生成するまでの間にネットワーク内部で起きていることだけです。
推論モデルは異なる訓練を受けています。まず、多くの場合は数千トークンにも及ぶ思考の連鎖を書き出し、その後に初めて答えを書きます。その思考はモデル自身が生成するテキストです。ひとつのアプローチを試し、矛盾に気づき、後戻りし、計算を確認し、最終的に結論を出します。多くの製品はこの連鎖を隠すか要約だけを見せ、全体を「思考(シンキング)」と呼びます。
この思考は、LLMとは何かで説明されている次トークン予測と同じ仕組みを、問題に対してより長く働かせているだけです。推論モデルは、答えを確認できる問題に対する強化学習によって、答えを出す前により多くのトークンを費やすよう訓練された言語モデルです。だからこそ、途中経過を確認できる問題で最も役立ち、確認すべき過程が何もない問題では最も役に立ちません。
このアイデアの起源、3つの日付で
2022年1月、Googleのジェイソン・ウェイ氏らは、プロンプトに手順を示した例をいくつか入れるだけで、モデルの数学や論理問題のスコアが上がることを示しました。これはchain-of-thoughtプロンプティングと呼ばれ、手順を書き出すことでモデルが問題ごとに使えるトークン、つまり計算量が増えたために効果があったのです。
2024年9月、OpenAIはo1をリリースしました。要求に応じてではなく、デフォルトでこれを行うよう訓練された初の広く使われたモデルです。その背後にある強化学習は、数学とコードで正解にたどり着く思考の連鎖に報酬を与えたため、モデルは自ら長く自己修正的な思考過程を生成することを学びました。
2025年1月、DeepSeekはオープンウェイトのR1と、訓練方法を説明する論文を公開しました。これにより、どの研究機関もこの手法を再現できるようになりました。その年のうちに、推論はモデルではなくモードになりました。GPT、Claude、Geminiに組み込まれたトグルとなり、Kimi K2 Thinkingのような専用ラインナップも広いカタログの中に加わりました。
思考が報われるとき、単なるコストになるとき
あらゆるベンチマークとあらゆる実際のタスクに共通するパターンは同じです。推論は、問題のステップ数と答えの確認しやすさに比例して役立ちます。
| タスク | 思考モード | 理由 |
|---|---|---|
| 複数ステップの数学、文章題、単位変換 | 有効 | 手順を確認できる。作業を省くとミスが積み重なる |
| デバッグ、コード内の不具合の追跡 | 有効 | モデルはコミットする前に仮説をコードと照らし合わせて検証する |
| 制約のあるスケジュールや移行計画、予算の立案 | 有効 | 制約同士が絡み合い、最初の案は大抵どれかに違反する |
| 論理パズル、証明、例外のあるルール | 有効 | 連鎖そのものが本質だから |
| 事実の検索(「Xが起きたのは何年か」) | 無駄 | 手順がない。モデルが知っているか知らないかだけ |
| 書き直し、翻訳、要約、トーンの変更 | 無駄 | 一回で済むタスクであり、思考は遅延を加えるだけで質は上がらない |
| 雑談、リストのブレインストーミング | 無駄 | 確認すべきものがなく、同じ答えにより多くのトークンを使うだけ |
正直な限界が2つあります。思考は事実に関する幻覚を解消しません。ある国の首都を知らないモデルは、より自信満々に間違った答えへと推論していきます。そして長い連鎖は、短い答えでは起こらない形で誤ることがあります。モデルが最初は正しかった直感を自ら覆してしまうのです。簡単な質問では、長い連鎖が普通のモデルの最初の答えより悪い結論にたどり着くこともあります。
思考のコスト: トークン、秒数、クレジット
思考の連鎖は出力トークンであり、高くつく種類のトークンです。AIにおけるトークンとはが示すように、あらゆる主要モデルで出力は入力の5倍から6倍のコストがかかります。300トークンの答えを出す前に3,000トークンの思考を書く推論ターンは、通常の返信の10倍の出力を生成したことになります。出力は1トークンずつ生成されるため、かかる時間もおよそ10倍になります。
現在のリーダーボードは、このダイヤルの価格を直接示しています。Artificial Analysisは、各プロバイダーが公開しているすべてのエフォート設定でモデルを採点しているため、このコストは測定可能です。同じモデルの最低と最高の推論エフォートを、それぞれのインテリジェンス指数スコアとともに示します。以下の3つのランキングは2026年9月17日時点のものです。
エフォート設定ごとにプロットすると、曲線が示唆的に交差します。GPT-6 Astraは100万トークンあたり$2.31で53に到達しますが、Claude Fable 5.1が同じ53に到達するのは$5.98です。Claude Opus 5は最大エフォートで51にとどまり、両者より2ポイント低いのに$5.86かかります。エフォートはどの曲線でもポイントを買いますが、どの曲線に乗っているかでそのポイントの値段が決まります。
Whiziのオートルーターは、この構造を目に見える固定価格に変えます。Autoは各メッセージを読み取り、6段階のうちの1つに振り分けます。どの段階かによってクレジットのコストが決まり、複数ステップの推論はPowerhouseで最上位に位置します。Proは10クレジットのコードランクが上限で、Starterは1クレジットのハウスモデルにとどまります。
推論ターンは20クレジット、簡単な質問なら1クレジットです。この20対1の差は、その裏にあるトークンコストをそのまま反映しています。Autoは無駄遣いも防ぎます。新しいメッセージが書き直しや検索だと判断されれば1クレジットか2クレジットのランクに送られ、すでに推論ランクを獲得したスレッドの続きの質問はそこにとどまります。前のターンのモデルが下限として機能するからです。Autoがモデルを選ぶ仕組みには、各段階の裏にあるモデルを示すランク表があります。
思考モードを、どこでも使わずに使いこなす方法
思考は常にオンにしておく設定ではなく、必要なときに取り出す道具として扱いましょう。
- 高速モデルをデフォルトにする。ほとんどのメッセージは検索や書き直し、短い質問です。思考を加えても秒数とクレジットが増えるだけで、何も変わりません。
- 難しいターンだけオンにする。質問に複数のステップがあり、答えを確認できる場合は、そのメッセージだけ推論モデルに切り替えるか思考をオンにし、その後は元に戻しましょう。
- 制約をプロンプトに書く。推論モデルは、自分の計画を照らし合わせるルールがあるときに最も力を発揮します。「40時間以内に収めること、金曜日は会議なし、公開は12日」のようなプロンプトなら、待つ価値があります。
- 表示されたら思考過程を読む。連鎖は、モデルが誤った前提を明かす場所です。最初のステップが間違っていれば、どれだけ長く考えても答えは間違っています。
- 事実確認には使わない。それには検索、文書、または別のモデルを使いましょう。AIのハルシネーションとはが、なぜ思考を増やしても事実には効かないのかを説明しています。
判断基準は一言でまとめられます。誰かの答えを信じる前にその作業過程を見たいと思うなら、推論モデルを使いましょう。そう思わないなら、そのために料金を払う必要はありません。
- 高速モデルをデフォルトにし、特定の難しいターンでだけ思考モードを取り出す
- 数学、論理、制約のある計画、デバッグには推論を使う
- 検索、書き直し、翻訳、要約では使わない。遅いだけで精度は変わらない
- モデルが計画を照らし合わせられるよう、制約をプロンプトに書く
- 事実確認は検索か別のモデルで行い、長い思考の連鎖に頼らない
よくある質問
推論モデルは具体的に何が違うのですか。
最終的な答えを出す前に、中間ステップの連鎖を書き出します。アプローチを試し、計算を確認し、後戻りする、そのすべてが生成されたテキストとして行われます。標準的なモデルはすぐに答えを書き始めます。この推論は同じ次トークン予測を問題に対して長く働かせているだけであり、だからこそ複数ステップのタスクで役立ち、検索では役立ちません。
思考モードは常に優れているのですか。
いいえ。事実の検索や書き直し、翻訳、雑談的な質問では、遅く、トークンを多く消費し、答えの質も上がりません。簡単な質問では、長い連鎖がモデルの正しい最初の直感を覆してしまうこともあります。数学、論理、制約のある計画、デバッグのように、答えに確認できる手順がある場合に優れています。
なぜ思考モードは遅く、コストが高いのですか。
思考は出力トークンであり、1トークンずつ生成されるためです。そしてあらゆる主要モデルで出力は入力の5倍から6倍のコストがかかります。300トークンの答えを出す前に3,000トークンの思考を書くターンは、通常の返信の10倍の出力を生成し、かかる時間もおよそ10倍になります。
どのモデルが推論モデルですか。
2024年9月のOpenAIのo1が最初に広く使われたモデルで、2025年1月のDeepSeek R1がオープンウェイトでその手法を公開しました。それ以降、推論は独立した製品というよりGPT、Claude、Geminiに組み込まれたモードであることが多く、Kimi K2 Thinkingのような専用ラインナップも存在します。Whiziは複数ステップの質問を自動的に推論ランクへ振り分けます。
推論モデルは幻覚が少ないのですか。
複数ステップの問題ではそうです。連鎖の中で自分の計算や論理のミスに気づけるからです。しかし事実についてはそうではありません。何かを知らないモデルは、より自信満々に間違った答えへと推論します。事実については、検索や文書によるグラウンディングと別のモデルの意見が有効で、長い思考の連鎖は効きません。