推理模型先用token思考,再用token回答
問一個標準模型困難的問題,它會立刻動筆寫答案。牠唯一的「思考」,就是讀完你的提示到寫出第一個字之間,網路內部發生的事。
推理模型的訓練方式不同:它會先寫出一整串思考過程,往往長達數千個token,然後才寫出答案。這段思考過程是模型為自己產生的文字。它會嘗試一種做法,發現矛盾,回頭修正,檢查算式,最後才拍板定案。大多數產品會把這段過程隱藏起來,或只顯示摘要,並統稱為「思考」。
這段思考其實跟什麼是LLM所描述的下一個token預測是同一件事,只是花更長時間對著同一個問題做而已。推理模型是一種語言模型,經過強化學習,在有可驗證答案的問題上訓練,學會在下定論前多花一些token。這正是為什麼它在可以驗證思路的問題上幫助最大,在沒有東西可以推演的問題上幫助最小。
這個想法從何而來,三個關鍵日期
2022年1月,Google的Jason Wei和同事發現,在提示裡放入幾個逐步示範的例子,能提升模型在數學和邏輯問題上的分數。他們稱之為思維鏈提示(chain-of-thought prompting),之所以有效,是因為把步驟寫出來讓模型在每個問題上獲得更多token,也就是更多運算量。
2024年9月,OpenAI發表了o1,這是第一個廣泛可用、預設就會這樣做而不需額外要求的模型。背後的強化學習會獎勵能導向數學和程式正確答案的思考鏈,因此模型自己學會產生冗長、能自我修正的推理過程。
2025年1月,DeepSeek發表了開放權重的R1,並公開了訓練方法的論文,讓每個實驗室都能重現這個做法。不到一年,推理就從一種模型變成一種模式:GPT、Claude和Gemini裡都有切換開關,同時也出現了像Kimi K2 Thinking這樣的專屬產品線,加入更廣泛的產品目錄。
思考什麼時候值得,什麼時候純粹是成本
看遍每個基準測試和每個真實任務,規律都一樣:問題步驟越多、答案越能驗證,推理帶來的幫助就越大。
| 任務 | 思考模式 | 原因 |
|---|---|---|
| 多步驟數學、應用題、單位換算 | 值得 | 步驟可以驗證,沒有思考過程錯誤會累積 |
| 除錯、在程式碼中追蹤問題根源 | 值得 | 模型會先用程式碼驗證假設,再下定論 |
| 規劃行程、遷移計畫、有限制條件的預算 | 值得 | 限制條件會互相牽動,初稿通常會違反其中一項 |
| 邏輯謎題、證明、有例外的規則 | 值得 | 整個重點就在於推理鏈 |
| 查事實(「X是哪一年發生的」) | 浪費 | 沒有步驟可言,模型知道就是知道,不知道就是不知道 |
| 改寫、翻譯、摘要、調整語氣 | 浪費 | 任務本身就是一次到位,思考只會拖慢速度、不會提升品質 |
| 閒聊、發想清單 | 浪費 | 沒有東西可以驗證,只是為同樣的答案多花token |
有兩個誠實的限制。思考並不能修正模型對事實的幻覺:一個不知道某國首都的模型,只會更有自信地推理出錯誤答案。而且冗長的思考鏈也可能出現短答案不會有的問題:模型會把自己原本正確的直覺推翻掉。在簡單問題上,長思考鏈有時反而會導向比模型第一個答案更差的結果。
思考要付出什麼代價:token、秒數和點數
思考鏈屬於輸出token,是比較貴的那一種,什麼是AI裡的token也指出,在每個主流模型上,輸出成本都是輸入的五到六倍。一次推理任務如果在給出300個token的答案前先寫了3,000個token的思考過程,產生的輸出量就是普通回覆的十倍。因為輸出是一個token接一個token產生的,所花的時間大約也是十倍。
現在的排行榜已經把這個代價直接標出價格。Artificial Analysis會針對每個廠商開放的每一種努力程度(effort setting)為模型評分,所以這個代價是可以量測的:同一個模型在最低與最高推理努力程度下,各自標出Intelligence Index分數。以下三個階梯讀取自2026年9月17日。
把每個設定都畫出來,曲線交叉的方式頗有啟發性。GPT-6 Astra在每百萬token $2.31時就達到53分;Claude Fable 5.1要到$5.98才達到同樣的53分。Claude Opus 5在最高努力程度下落在51分,比前兩者都低兩分,價格卻是$5.86。每條曲線上,努力程度都能換到分數,但你站在哪條曲線上,決定了這些分數要花多少錢。
Whizi的Auto路由器把這一切換算成你看得到的固定價格。Auto會讀取每則訊息,把它送到六個等級之一;等級決定了要花多少點數,多步驟推理則排在Powerhouse方案的最高等級。Pro方案最高只到10點數的程式碼等級,Starter方案則一律停在1點數的內建模型。
一次推理任務要20點數,對比一個簡單問題只要1點數,這20比1的落差正好反映了背後的token成本。Auto也不會浪費點數:它判斷是改寫或查資料的新訊息,會被導向1點或2點的等級;而已經進入推理等級的對話串裡,後續追問會留在原本的等級,因為前一輪的模型會當作下限。Auto如何選擇模型有完整的等級表,列出每一列背後對應的模型。
怎麼用思考模式,又不用到處都花錢
把思考當成需要時才拿出來用的工具,而不是一直開著的設定。
- 預設使用快速模型。大多數訊息都是查資料、改寫和簡短問題。思考模式只會多花秒數和點數,不會改變任何結果。
- 遇到困難的一輪對話再打開。當問題有好幾個步驟、答案又能驗證時,把那一則訊息切換到推理模型或打開思考模式,用完再切回來。
- 把限制條件寫進提示裡。推理模型在有規則可以拿來檢查計畫時表現最好。「必須在40小時內完成,週五不排會議,上線日是12號」這種提示,就值得讓它多花時間思考。
- 顯示思考過程時要讀一下。思考鏈就是模型暴露錯誤假設的地方。如果第一步就錯了,不管想了多久,答案都是錯的。
- 不要拿它來查證事實。查證事實請用搜尋、文件,或找第二個模型核對;什麼是AI幻覺解釋了為什麼多想並不會在這件事上有幫助。
一句話的判斷原則:如果你會想在相信對方答案之前先看看他的思考過程,就用推理模型。如果不會,就不用為它付費。
- 把快速模型當成預設,只在特定困難的一輪對話才打開思考模式
- 數學、邏輯、有限制條件的規劃和除錯,用推理模型
- 查資料、改寫、翻譯和摘要就跳過,它又慢又不會更好
- 把限制條件寫進提示裡,讓模型有東西可以拿來檢查自己的計畫
- 用搜尋或第二個模型驗證事實,而不是靠更長的思考鏈
常見問題
推理模型實際上到底哪裡不一樣?
它會在給出最終答案前,先寫出一連串中間步驟,嘗試不同做法、檢查算式、回頭修正,而這一切都是生成出來的文字。標準模型則會立刻開始寫答案。推理其實跟一般的下一個token預測是同一件事,只是花更長時間在同一個問題上,這正是為什麼它在多步驟任務上有幫助,在查資料上卻沒有。
思考模式是不是永遠比較好?
不是。在查事實、改寫、翻譯和閒聊上,它反而更慢、耗費更多token,也不會讓答案更好。在簡單問題上,長思考鏈甚至可能讓模型推翻原本正確的直覺。它在數學、邏輯、有限制條件的規劃和除錯上表現更好,因為這些答案有步驟可以驗證。
思考模式為什麼比較慢、比較貴?
因為思考過程是輸出token,而且是一個接一個產生的,在每個主流模型上,輸出成本都是輸入的五到六倍。一次任務如果在給出300個token的答案前先寫了3,000個token的思考過程,產生的輸出量就是普通回覆的十倍,花的時間也大約是十倍。
哪些模型是推理模型?
OpenAI在2024年9月推出的o1是第一個廣泛可用的推理模型,DeepSeek在2025年1月發表的R1則公開了訓練方法並開放權重。從那之後,推理通常是GPT、Claude和Gemini裡的一種模式,而不是獨立產品,此外還有像Kimi K2 Thinking這樣的專屬產品線。Whizi會自動把多步驟問題導向推理等級。
推理模型的幻覺會比較少嗎?
在多步驟問題上會,因為它能在思考鏈裡抓到自己的算式和邏輯錯誤。但在事實問題上不會:一個不知道某件事的模型,只會更有自信地推理出錯誤答案。針對事實問題,用搜尋或文件做根基查證,再搭配第二個模型的意見會有幫助;更長的思考鏈則沒有用。
