如何判斷新AI模型是否真的更適合你的工作

為什麼發布時的基準測試無法回答你的問題

每一次前沿模型發布，都會附上一張圖表，顯示它在一組標準化評測中領先。這些數字是真的，但對於判斷你星期一該用哪個模型幾乎沒有幫助，原因有三個。

差距很小，而且測的不是你的任務。 推理基準上兩分的差距，無法告訴你哪個模型寫的客戶郵件比較好，或是在兩百列資料中能不能更穩定地維持格式。

基準測試衡量的是容易評分的任務。 也就是有標準答案的事情。大多數專業工作沒有標準答案：語氣、結構，以及該省略什麼的判斷力。這些正是模型差異最大、卻完全沒被衡量的地方。

發布時的比較是廠商自己做的。 不見得是不誠實，但沒有人會公布自家模型排名第二的評測。

真正值得回答的問題比較窄：在你每週做二十次的那些具體任務上，這兩個模型哪個比較好？這個問題沒有現成的公開答案，但只要花大約一小時就能找出來。

版本之間真正常變的地方

綜觀近期幾次前沿模型發布，日常使用中真正重要的進步，一直集中在同樣幾個地方，而且很少是發布公告主打的重點。

改進項目	你會如何注意到	基準測試是否顯示出來
指令遵循	不再忽略你的第三個限制條件	很少
負向指令	「不要用比喻」真的被遵守	沒有
長文本記憶	能找到第140頁的內容，而不只是第3頁	部分
格式紀律	表格每次都有你要求的欄位	沒有
校準過的不確定性	它會說不知道，而不是編造答案	沒有
語氣控制	送出前需要重寫的次數變少	沒有
推理深度	它能抓到你漏掉的邊緣情況	有，這是他們唯一有衡量的一項

這七項裡有五項在基準測試圖表上完全看不出來，這也是為什麼一個新模型用起來感覺變好或變差的原因。指令遵循尤其是「你會拿去修改的初稿」和「你會直接丟掉的初稿」之間的差別。

一小時評估法

與其閱讀發布報導，不如這樣做：讓兩個模型並排處理你自己的素材。

1. 收集五個真實任務，取自過去兩週。要是真實的，貼上你實際的情境內容，而不是玩具提示。至少包含一個寫作任務、一個結構化輸出任務，以及一個需要對不熟悉事物進行推理的任務。
2. 在動手之前，先用一句話寫下一個好答案應該包含什麼，針對每個任務都這樣做。這一步能防止你偏好那個比較長、比較有自信的輸出，這是一種強烈但多半無意識的偏見。
3. 讓每個任務平行對兩個模型執行，這樣任何一個答案都不會被另一個先入為主地影響。
4. 依修改心力打分，也就是從輸出到你會實際送出的內容之間，需要花多少功夫，而不是看它讀起來如何。
5. 記下差距大小，而不只是誰贏。結果不相上下就代表你可以不用再為這個任務糾結該用哪個模型，這本身就很有用。
6. 把記錄保留下來。 三個月後，等下一個版本推出時，你重新跑一次同樣的五個任務，二十分鐘就能得到真正的答案。

最後一點才是真正會累積價值的地方。保留下來的評估集，是唯一能讓之後每一次新版本評估都變得便宜的東西。

六個能分辨前沿模型差異的提示

一般性的問題，任何夠強的模型給出的答案都差不多。如果你想看出差異，就要針對特定能力施加壓力。

• 困難情境下的語氣。 Write a note telling a client we missed the deadline. Take responsibility without over-apologising and without excuses. Under 120 words. 語氣風格的差異會立刻顯現出來。
• 負向限制。 Explain [concept] without using any analogy or metaphor. 遵守負向指令的程度，差異遠比你想像的大。
• 嚴格擷取。 Extract every date, amount, and party into a JSON array with exactly these keys. If a field is absent use null. Do not infer. 測試格式紀律，以及自行腦補空缺的傾向。
• 長文本記憶。 上傳一份長文件，詢問中間段落的內容。這能揭露「實際可用的情境長度」，跟廣告宣稱的情境長度不是一回事。
• 承認不知道。 詢問一件真正冷門或非常新的事情。最好的答案是明確說「我不知道」，或是給出附來源的檢索結果。這裡出現捏造內容，不管基準測試分數多高都應該直接淘汰。
• 多重限制遵守度。 一次給六個限制條件，數數看有幾個被遵守。這單一測試，比清單上其他任何一項都更能預測你日常使用的滿意度。

答案通常是「兩者都要，看什麼任務」

大家面對一次新版本發布，都想要一個明確的結論，但實際跑過評估後，誠實的結果幾乎總是分裂的。一個模型在寫作和語氣上勝出，另一個在嚴格結構和速度上勝出。兩者在一般推理能力上差距小到不足以決定什麼。

這不是打馬虎眼，而是真實的結果，而且有實際的意義。如果你只能用一個模型，你等於是在選擇哪一類任務要犧牲品質。如果你可以同時使用兩個，發布時要問的問題就不再是「要不要換」，而是「哪些任務要換」，這是個小得多、風險也低得多的決定。

這也改變了一次發布對你的意義。當新模型出現在一個已經有好幾個模型的工作區裡，你只需要重新跑一次你的五個任務，調整路由設定，然後繼續工作。不需要遷移，不需要取消訂閱，也不會有整整一個月因為提前下了承諾而被迫用比較差的東西。

發布當天該做什麼

不要立刻切換你的預設模型。 發布週的第一印象，多半被新鮮感和最早流傳出來的那些範例主導。

重新跑一次你的評估集。 如果你保留了上次的評估集，二十分鐘就能搞定。

檢查那些不起眼的細節。 情境視窗長度、你原本的提示是否還維持一樣的行為，以及有沒有任何你依賴的東西改變了。一個整體更強的模型，在你特定的範本上反而可能變差，這件事值得在把正式工作搬過去之前先弄清楚。

按任務更新路由，而不是整批切換。 把新模型明顯勝出的類別搬過去，其他的先留著。

等兩週再看限制。 一個新模型的失敗模式，通常要等大規模使用約兩週後才會浮現，而且很少出現在發布公告裡。

想了解整體架構，請見如何選擇AI模型；想了解如何在同一個提示上比較兩個模型的做法，請見並排比較模型。