AI 的 8B 是什麼意思?LLM 參數量 80 億,約 5 GB 就能跑

快速解答

在 AI 領域,8B 代表模型有 80 億個參數,也就是它每預測一個字都會參考的學習權重。參數量決定記憶體需求:16 位元需要 16 GB,4 位元下載約 5 GB,所以 8B 能在筆電上執行。但它不決定品質:IBM 2026 年的 Granite 4.2 8B 分數高於 Meta 2024 年的 Llama 3.3 70B。

Eight small chrome spheres on a low terracotta plinth beside one large chrome sphere on a taller plinth, with a rainbow glass ruler leaning between them.

8B 是權重的數量,它預測記憶體的準確度遠高於預測品質

三個 8B 模型在 Artificial Analysis Intelligence Index(由公開的推理、程式與知識測驗組成的綜合指標,2026 年 9 月 26 日讀取)分別得 6、7 和 11 分,而 Kimi K3 儲存了 2.8 兆個參數,是它們的 350 倍,才得到 44 分。這張圖標出 13 個兩項數字都有公布的開源模型;每個參數量都是廠商自己模型卡上的總量,每個分數都是預設模式,只有三個標示最大強度的例外,它們是以最高推理強度評分。

350 倍的參數量,只換來 4 倍的分數
01325385083010030010002800總參數量(十億),對數刻度Intelligence Index,2026 年 9 月Llama 3 70B(估計)Qwen3 8BLlama 3.1 8BLlama 3.3 70BLlama 4 ScoutLlama 4 MaverickGranite 4.2 8BMistral Small 4Gemma 4 31BQwen3.8 27BDeepSeek V4 Flash(最大強度)DeepSeek V4 Pro(最大強度)Kimi K3(最大強度)

虛線是前緣線,也就是每種大小下的最高分,參數量增加 350 倍,它只上升 33 分。在虛線下方,同一種大小之內的分數差距,和不同大小之間的差距一樣大。Llama 4 Maverick 儲存了 4,000 億個參數,得 10 分,比 IBM 的 8B 還低一分。

AI 的參數是什麼?模型用來預測的學習數字

參數就是一個學習得來的數字,是網路中的一個權重,由訓練調整,模型每預測一個 token 都會參考它。8B 就是計算了 80 億個這樣的數字,B 是 billion(十億),就像 GB 的 G 是 giga。Meta 的模型卡把 Llama 3.1 描述為 "a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes"。除此之外沒有計算別的東西:不是訓練資料,也不是上下文視窗。什麼是 LLM說明了權重是如何設定的。

模型卡上還會出現另外兩個字母。M 是百萬,小型嵌入與視覺模型屬於這一級;T 是兆:Kimi K3 的模型卡寫的是 2.8T。像 Qwen3.6 35B A3B 這樣的名稱,或 DeepSeek 的 "284B parameters, 13B activated",代表這是混合專家模型,它儲存所有參數,但處理每個 token 時只用其中一小部分(以 Qwen 為例,是 350 億中的 30 億)。啟用參數決定速度。總參數決定記憶體,也就決定模型能不能載入。

8B 模型需要多少記憶體?16 位元 16 GB,量化後約 5 GB

8B 模型在 16 位元下需要約 16 GB 記憶體,大多數人執行的 4 位元下載版約 5 GB,另外還要加上對話所需的工作記憶體。算法是參數量乘以每個權重的位元組數:廠商發布的 16 位元格式是 2 位元組(Hugging Face 的記憶體指南把 fp16 權重算成每個參數 2 位元組),8 位元是 1 位元組,4 位元是半個位元組。下表是 Ollama 三種大小都有提供的 Llama 3.1 系列,於 2026 年 9 月 26 日查證。

Llama 3.1 大小16 位元8 位元4 位元,純算術Ollama 下載該下載每個權重的位元數
8B16 GB8 GB4 GB4.9 GB4.9
70B140 GB70 GB35 GB43 GB4.9
405B810 GB405 GB203 GB243 GB4.8

最後一欄是我們自己算的,用下載大小的位元數除以參數量,結果顯示 4 位元的經驗法則會低估實際下載量約 20%:Llama 3.1 每種大小都落在每個權重 4.8 到 4.9 位元,而不是 4。所以 8B 要預留 5 GB,70B 要預留 43 GB(Ollama 的 llama3.3 頁面列出 Llama 3.3 70B 同樣是 43 GB),405B 要預留 243 GB。

這就是 8B 成為大家都在談的尺寸的原因:4.9 GB 放得進 16 GB 記憶體的筆電或 8 GB 的顯示卡。Mistral 為 Ministral 3 8B 寫的模型卡說,它在 FP8 下可放進 12 GB 的 VRAM,量化後更少;Mistral Small 3.1(24B 模型)的模型卡則說,量化後單張 RTX 4090 或 32 GB 的 MacBook 就夠。43 GB 的 70B 需要 64 GB 的 Mac 或兩張 24 GB 的顯示卡,再往上就得租伺服器了。

8B 還是 70B 比較好?2026 年的 8B 勝過 2024 年的 70B

年份勝過大小:IBM 於 2026 年 8 月 25 日發布的 Granite 4.2 8B 在 Intelligence Index 得 11 分,而 Meta 2024 年 12 月的 Llama 3.3 70B 得 8 分,2024 年 4 月的 Llama 3 70B 得 5 分(Artificial Analysis 的估計值)。70B 的權重幾乎是它的九倍。參數量只記錄網路有多大,對訓練資料或訓練配方毫無說明,而這兩年的進步正是出在這裡。下表分數為 2026 年 9 月 26 日的數字;參數量為廠商自己公布的數字。

模型參數量(總量,混合專家模型則加註啟用量)Intelligence Index
Granite 4.2 8B (IBM)8B,稠密11
Llama 3.1 8B (Meta)8B,稠密7
Qwen3 8B (Alibaba)8.2B,稠密6
Qwen3.8 27B (Alibaba)27B,稠密20
Gemma 4 31B (Google)30.7B,稠密19
Llama 3.3 70B (Meta)70B,稠密8
Mistral Small 4 (Mistral)總量 119B,啟用 6.5B11
DeepSeek V4 Flash (DeepSeek)總量 284B,啟用 13B最大強度下 34
Llama 4 Maverick (Meta)總量 400B,啟用 17B10
DeepSeek V4 Pro (DeepSeek)總量 1.6T,啟用 49B最大強度下 36
Kimi K3 (Moonshot)總量 2.8T,啟用 104B最大強度下 44
GPT-6 Astra (OpenAI)未公布53
Claude Fable 5.1 (Anthropic)未公布53

在同一個系列、同一代之內,大小仍然有回報:Granite 4.2 的 3B、8B 和 30B 分別得 9、11 和 15 分。跨世代就不再有回報了,而且在混合專家模型的列中,總量與啟用量相差 18 到 33 倍,所以標題上的數字甚至不是處理每個 token 時真正出力的那一個。

同樣的權重可以相差 14 分。Qwen3.8 27B 在預設模式得 20 分,把推理強度調到 xhigh 則得 34 分,因為這個指標也衡量模型在回答前思考了多久。什麼是推理模型說明了這個旋鈕。

為什麼 GPT、Claude 和 Gemini 旗艦模型不公布參數量

封閉的旗艦模型不公布大小,因為這個數字屬於競爭細節,而對於你無法下載的權重,它也提供不了你用得上的資訊。OpenAI 最後一次公布旗艦 GPT 的參數量是 GPT-3 的 1,750 億,出現在 2020 年介紹它的論文中;它公布的其他大小都屬於開放權重模型,2025 年 8 月的 gpt-oss 模型卡給出 gpt-oss-120b 總計 1,168 億、啟用 51 億個參數。Google 只公布了裝置端 Gemini Nano 的大小,在 Gemini 1.0 報告中為 18 億和 32.5 億個參數,Pro 和 Ultra 則沒有。截至 2026 年 9 月,GPT-6 Astra 和 Claude Fable 5.1 在 Artificial Analysis 排行榜上都是 53 分,旁邊沒有標示大小,比最大的開源模型 Kimi K3(2.8 兆)高出九分。

買硬體時看參數量,買答案時看分數

如果你自己執行模型,參數量是第一個該看的數字,因為它決定權重載不載得進去;如果你用的是託管的聊天產品,它幾乎是最後才需要看的數字。託管服務商已經買好了硬體,所以你付的費用跟著 token 價格走,而不是跟著大小走。

如果要私密或離線使用,託管產品就不是合適的工具:透過 Ollama 下載 4.9 GB 的 Llama 3.1 8B,或透過 LM Studio 取得相同的權重,除了磁碟空間之外不用花一毛錢。開源 LLM 指南說明了授權條款。

操作清單
  • 把 B 讀成十億個參數,M 或 T 讀成百萬或兆,就像 GB 是一種單位
  • 用參數量乘以每個權重的位元組數來估算記憶體:16 位元是 2,8 位元是 1,實際的 4 位元下載約為 0.6,再加上對話所需的空間
  • 混合專家模型用總參數量看記憶體,用啟用參數量看速度
  • 先看發布日期再看大小;2026 年的 8B 勝過 2024 年的 70B
  • 比較模型要看今年讀取的任務分數,不要只看參數量

常見問題

AI 的 70B 是什麼意思?

70B 代表 700 億個參數,幾乎是 8B 模型的九倍。16 位元下約需 140 GB 記憶體,而 Ollama 的 Llama 3.1 70B 和 Llama 3.3 70B 4 位元下載都是 43 GB,所以 70B 模型需要 64 GB 的 Mac、兩張 24 GB 的顯示卡,或租用伺服器。

執行 8B 模型需要多少 RAM?

大約 8 GB 的可用記憶體就能以 4 位元執行 8B 模型:Llama 3.1 8B 的下載是 4.9 GB,對話還需要額外空間。16 GB RAM 的筆電或 8 GB VRAM 的顯示卡是比較舒適的底線。以完整的 16 位元精度執行,光是權重就需要約 16 GB。

7B、13B 還是 70B 的模型比較好?

你放得下的最新模型比較好,不管大小。跨世代時年份勝出:2026 年的 Granite 4.2 8B 在 Artificial Analysis Intelligence Index 得 11 分,而 2024 年的 Llama 3.3 70B 得 8 分。以記憶體來說,7B 和 8B 放得進筆電,13B 在 4 位元下約 8 GB,放得進 12 GB 的顯示卡,70B 則需要伺服器或 64 GB 的 Mac。