大模型参数里的8B是什么意思?80亿参数,约5 GB就能运行

快速解答

在AI领域,8B表示模型有80亿个参数,即它预测每个词时参考的、学习得到的权重。参数量决定内存:16位需16 GB,4位下载约5 GB,所以8B能在笔记本上运行。但它不决定质量:IBM在2026年发布的Granite 4.2 8B,得分超过Meta在2024年发布的Llama 3.3 70B。

Eight small chrome spheres on a low terracotta plinth beside one large chrome sphere on a taller plinth, with a rainbow glass ruler leaning between them.

8B是权重的数量,它预测内存远比预测质量准确

三个8B模型在Artificial Analysis智能指数(由公开的推理、编码和知识测试合成的综合分,2026年9月26日读取)上分别得6、7和11分,而Kimi K3存储了2.8万亿参数,是它们的350倍,得分为44。图表绘制了13个同时公布了两项数据的开源模型;每个参数量都来自厂商自己的模型卡中的总数,每个得分都是默认模式,只有三个标注“最高强度”的按最大推理强度打分。

350倍的参数量,只换来4倍的得分
01325385083010030010002800总参数量,单位十亿,对数刻度智能指数,2026年9月Llama 3 70B(估计)Qwen3 8BLlama 3.1 8BLlama 3.3 70BLlama 4 ScoutLlama 4 MaverickGranite 4.2 8BMistral Small 4Gemma 4 31BQwen3.8 27BDeepSeek V4 Flash(最高强度)DeepSeek V4 Pro(最高强度)Kimi K3(最高强度)

虚线是前沿线,即每种规模下的最高得分,参数量增加350倍,它只爬升了33分。在这条线以下,同一规模内部的差距,和不同规模之间的差距一样大。Llama 4 Maverick存储了4000亿参数,得分是10,比IBM的8B还低一分。

AI里的参数是什么?模型用来预测的、学习得到的数字

参数就是一个学习得到的数字,是网络中的一个权重,由训练调整,模型每预测一个token都会参考它。8B就是80亿个这样的数字,这里的B是十亿(billion),就像GB里的G是千兆(giga)。Meta的模型卡把Llama 3.1称为“a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes”。被计数的只有参数:不包括训练数据,也不包括上下文窗口。What is an LLM讲了这些权重是如何设定的。

模型卡上还会出现另外两个字母。M是百万,小型嵌入模型和视觉模型多在这个量级;T是万亿,Kimi K3的卡片写的是2.8T。像Qwen3.6 35B A3B这样的名字,或DeepSeek的“284B parameters, 13B activated”,表示这是混合专家模型:它存储全部参数,但每个token只用其中一小部分(Qwen的例子里是35亿中的30亿)。激活参数决定速度,总参数决定内存,也就决定了模型能不能加载起来。

8B模型需要多少内存?16位需16 GB,量化后约5 GB

8B模型在16位下大约需要16 GB内存,而大多数人运行的4位下载版本约为5 GB,另外还要给对话留出工作内存。算法是参数量乘以每个权重的字节数:厂商发布的16位格式是2字节(Hugging Face的内存指南按每个参数2字节计算fp16权重副本),8位是1字节,4位是半个字节。下面是Llama 3.1系列,Ollama提供这三种规模,2026年9月26日核对。

Llama 3.1规模16位8位4位,纯算术值Ollama下载该下载中每个权重的位数
8B16 GB8 GB4 GB4.9 GB4.9
70B140 GB70 GB35 GB43 GB4.9
405B810 GB405 GB203 GB243 GB4.8

最后一列是我们自己算的,即下载大小的位数除以参数量,它表明“4位”这条经验法则会让你少估约20%的实际下载量:Llama 3.1每种规模都落在每个权重4.8到4.9位,而不是4位。所以8B按5 GB预算,70B按43 GB预算(Ollama的llama3.3页面把Llama 3.3 70B同样列为43 GB),405B按243 GB预算。

这就是8B成为人人都在谈的规模的原因:4.9 GB能放进16 GB内存的笔记本,或8 GB显存的显卡。Mistral为Ministral 3 8B发布的卡片说,它在FP8下可放进12 GB显存,量化后更少;它为24B的Mistral Small 3.1发布的卡片则说,量化后单张RTX 4090或32 GB的MacBook即可。43 GB的70B需要64 GB的Mac或两张24 GB显卡,再往上就得租服务器了。

8B和70B哪个更好?2026年的8B胜过2024年的70B

发布时间比规模更重要:IBM在2026年8月25日发布的Granite 4.2 8B,在智能指数上得11分,而Meta在2024年12月发布的Llama 3.3 70B得8分,2024年4月的Llama 3 70B得5分(Artificial Analysis的估计)。70B的权重接近8B的九倍。参数量只记录网络有多大,对训练所用的数据和配方却只字不提,而两年的进步正是花在了这些地方。下面的得分截至2026年9月26日;参数量为各厂商自己公布的数字。

模型参数(总参数,混合专家模型另注激活参数)智能指数
Granite 4.2 8B (IBM)8B,稠密11
Llama 3.1 8B (Meta)8B,稠密7
Qwen3 8B (Alibaba)8.2B,稠密6
Qwen3.8 27B (Alibaba)27B,稠密20
Gemma 4 31B (Google)30.7B,稠密19
Llama 3.3 70B (Meta)70B,稠密8
Mistral Small 4 (Mistral)总计119B,激活6.5B11
DeepSeek V4 Flash (DeepSeek)总计284B,激活13B最高强度下34
Llama 4 Maverick (Meta)总计400B,激活17B10
DeepSeek V4 Pro (DeepSeek)总计1.6T,激活49B最高强度下36
Kimi K3 (Moonshot)总计2.8T,激活104B最高强度下44
GPT-6 Astra (OpenAI)未公布53
Claude Fable 5.1 (Anthropic)未公布53

在同一个系列、同一代之内,规模仍然有回报:Granite 4.2的3B、8B和30B分别得9、11和15分。跨代之后这就不成立了;而在混合专家模型的几行里,总参数和激活参数相差18到33倍,所以标题上的那个数字甚至不是每个token实际在干活的那个。

同样的权重,得分可以相差14分。Qwen3.8 27B在默认模式下得20分,把推理强度调到xhigh后得34分,因为这个指数同时衡量模型回答前思考了多久。What is a reasoning model讲的就是这个旋钮。

为什么GPT、Claude和Gemini的旗舰模型不公布参数量

闭源旗舰不公布规模,是因为这个数字属于竞争细节,而对于你无法下载的权重,它也提供不了什么可用的信息。OpenAI最后一次公布前沿GPT的参数量,是GPT-3的1750亿,出现在2020年介绍它的论文里;它现在公布的规模都属于开放权重模型,2025年8月的gpt-oss模型卡给出gpt-oss-120b总参数1168亿、激活参数51亿。Google只公布过端侧Gemini Nano的规模,即Gemini 1.0报告中的18亿和32.5亿参数,Pro和Ultra则一个都没有。截至2026年9月,GPT-6 Astra和Claude Fable 5.1在Artificial Analysis排行榜上都是53分,旁边没有任何规模数字,比最大的开源模型(2.8万亿参数)Kimi K3高出九分。

买硬件看参数量,买答案看得分

如果你要自己运行模型,参数量是第一个该看的数字,因为它决定权重能不能加载;而如果你用的是托管的聊天产品,它几乎是最后才需要看的。托管服务商已经买好了硬件,所以你付的钱跟随的是token价格,而不是模型规模。

如果要私密或离线使用,托管产品并不合适:通过Ollama下载4.9 GB的Llama 3.1 8B,或通过LM Studio下载同样的权重,除了磁盘空间之外不花一分钱。开源大模型指南讲了各种许可证。

操作清单
  • 把B理解为十亿参数,M和T分别是百万和万亿,就像GB是一个单位一样
  • 用参数量乘以每个权重的字节数得到内存:16位是2,8位是1,真实的4位下载约为0.6,再给对话留出空间
  • 对任何混合专家模型,看总参数估内存,看激活参数估速度
  • 先看发布日期再看规模;2026年的8B胜过2024年的70B
  • 比较模型要看今年读取的任务得分,永远不要只看参数量

常见问题

AI里的70B是什么意思?

70B表示700亿参数,接近8B模型的九倍。16位下大约需要140 GB内存,而Ollama上Llama 3.1 70B和Llama 3.3 70B的4位下载都是43 GB,所以70B模型需要64 GB的Mac、两张24 GB显卡或一台租用的服务器。

运行8B模型需要多少内存?

大约8 GB可用内存就能以4位运行8B模型:Llama 3.1 8B的下载为4.9 GB,另外对话还需要额外空间。16 GB内存的笔记本或8 GB显存的显卡是比较舒适的底线。在完整的16位精度下,同一个模型光权重就需要约16 GB。

7B、13B和70B哪个模型更好?

你能装得下的最新模型更好,不论它的规模。跨代来看,发布时间更晚的更强:2026年的Granite 4.2 8B在Artificial Analysis智能指数上得11分,而2024年的Llama 3.3 70B得8分。按内存算,7B和8B能放进笔记本,13B在4位下约8 GB,可用12 GB的显卡,而70B需要服务器或64 GB的Mac。