LLM是什麼？大型語言模型如何運作

三個字，按重要的順序拆解

把這個名字倒過來拆。

模型（Model）。模型是一個把輸入轉成輸出的函式，規則是從資料中學來的，而不是工程師寫死的。天氣模型拿今天的觀測數據，輸出明天的預報。語言模型拿文字進來，輸出下一個字詞出現的機率。

語言（Language）。輸入和輸出都是文字，被切成token，也就是字詞的片段。AI中的token是什麼講解了這個單位；簡單說，模型讀寫的單位大約是四分之三個英文單字。

大型（Large）。模型有非常多的參數，也就是訓練過程會調整的內部數字。2019年的GPT-2有15億個參數。2020年的GPT-3有1750億個。這個網站在2026年計價的目錄裡，有一款Qwen模型有2.4兆個參數，其中每次處理一個token時大約有950億個是啟用的。「大型」這個字扛下了很重的分量，短短七年間這個數字成長了超過一千倍。

所以LLM其實就是一個非常大的下一個token預測器。人們歸功於它的其他特質，推理能力、語氣、自信滿滿卻犯的錯，全都是這一個工作衍生出來的結果。

LLM不是聊天機器人，這個差別就是整個產品的關鍵

ChatGPT是一個應用程式。GPT是它裡面的模型。Claude既是一整個模型系列，也是Anthropic包在外面的應用程式。Gemini在Google那邊也是同一套故事。AI聊天機器人是什麼講的是應用程式那一層；這篇講的是引擎本身。

當你發現引擎是可以換的，這個區別就不再只是理論了。同一個聊天視窗可以把你的訊息送給GPT、Claude、Gemini、DeepSeek或Llama，答案在語氣、成本、速度和準確度上都不一樣。像Whizi這樣的多模型工作平台正是如此：一個視窗，背後280多個模型，加上一個選擇器讓你決定誰來回答。應用程式是方向盤，LLM才是引擎，而引擎有好幾十種。

LLM如何訓練，分成兩個階段

第一階段，預訓練（pretraining）。模型讀取海量的文字語料，在每個位置嘗試猜下一個token。每猜錯一次，參數就被微調一點點。Meta表示Llama 3的預訓練用了超過15兆個token，以一本七萬五千字小說大約十萬個token來換算（每個token約四分之三個英文單字），這相當於約1.5億本書的文字量。經過這個階段後，模型變成一個超強的自動完成工具，卻是個糟糕的助理：問它一個問題，它可能接著再問三個問題，因為網路上的文字常常就是這樣寫的。

第二階段，後訓練（post-training）。接下來模型會看到一些好答案的範例，並由人類評分，判斷兩則回覆中哪一則比較好，這個過程叫做「以人類回饋進行的強化學習」，也就是RLHF。助理般的行為就是從這裡來的：用你要求的格式回答問題，並拒絕某些請求。這是在調校行為，不是在灌輸新知識，事實依然來自第一階段。

這兩個階段延伸出兩件事。模型的知識停在預訓練資料截止的那一天，這就是為什麼每個模型都有知識截止日。而且這兩個階段都沒有裝上事實查核機制：模型學會的是產生「可能」的文字，然後再學會產生「討喜」的文字。真實只是這兩者常見的副產品，不是保證。為什麼AI會出錯對此有更深入的討論。

為什麼LLM是在預測，而不是在查資料

搜尋引擎是用「檢索」的。它有一份頁面索引，會回傳符合的那些。LLM沒有索引。它在預訓練時讀到的一切都被壓縮進了參數裡，回答時它是從這個壓縮版本重新生成文字，一次一個token，每個token都是從機率分布中挑出來的。

這就是為什麼LLM能寫出一道它從沒看過名字的料理的可行食譜，也是為什麼它會生出一個根本不存在的法院判例引用。兩者都是說得通的延續。模型並沒有另外一套機制去檢查「說得通的延續」是不是「真實存在的」。

產品端的解法是額外裝上檢索功能：先搜尋網頁或你的檔案，再把找到的段落交給模型，要求它根據這些內容作答。這項技術叫做RAG，RAG是什麼有詳細說明。聊天應用程式裡的網頁搜尋，就是以網際網路為來源的RAG。模型依然在做預測，只是預測的材料變好了。

同一系列裡，價格買到了什麼，用數字說話

每個系列都有一整套階梯：小模型、中階模型、旗艦模型。Artificial Analysis Intelligence Index是一個橫跨公開推理、程式撰寫和知識測試的綜合分數，替每一階都打了分數，排行榜也在旁邊列出每百萬token的混合價格。以下四道階梯是在2026年9月17日讀取的。

OpenAI用18倍的價格換來15分，Anthropic用36倍換來35分，Qwen用16倍換來19分。DeepSeek打破了這個規律：V4 Flash的分數勝過V4 Pro，價格卻不到一半。這帶出兩件事。同一系列裡，最後那幾分是最貴的，所以對於一個簡短的事實性問題，小模型給出的答案會跟旗艦模型一樣。而跨系列來看，價格是判斷品質很弱的指標：DeepSeek V4 Flash每百萬token只要$0.27，分數卻比每百萬token$5.09的Claude Sonnet 5高兩分。這是身為買家最該記住的一件事：模型是一個可以調整的旋鈕，不是固定的成本。Whizi也是照這個邏輯收費，用house model傳一則訊息收一個點數，Claude Opus 5要20點，價格最高的那幾款甚至要100點，Whizi點數如何運作按模型列出了明細。

老實說有個但書：綜合指數是各項任務的平均值。對於一長串的推理，旗艦模型值回票價；對於單純的改寫，它就不值得了。想比較每個系列真正擅長什麼，該用哪個AI模型是專門幫你做決定的頁面。

LLM做不到的事，整理成一份清單

以下每一項都是架構本身造成的結果，不是下一次更新就能修好的錯誤。

• 除非有檢索功能把文字交給它，否則它不會知道訓練截止日之後發生的任何事。
• 它沒辦法可靠地在長篇輸入裡數數，因為它是靠token和機率運作，不是逐項跑迴圈。
• 它沒辦法驗證自己的輸出；同一個模型再跑一次，只是同一個預測器再猜一次而已。
• 除非產品把筆記存起來、再貼回對話裡，否則它不會記得你和上次對話的內容；那個記憶功能是產品層的功能，不是模型的。
• 它沒辦法永遠看著整段對話。每個模型都有一個上下文視窗（context window），也就是它一次能考慮的最大文字量，上下文視窗是什麼解釋了超過這個限制會發生什麼事。

實際上的結論是：把LLM當成一個流暢、偶爾會出錯的同事，驗證的工作留在你這一側。把模型變成能自己採取行動的那個迴圈是另外一回事，AI代理人是什麼劃出了這條界線。任何牽涉到成本的事，就多問一個模型。兩個不同的預測器意見一致，只是薄弱的證據；兩個意見不合，才是該去查證的強烈訊號。