什么是大模型？大语言模型是如何工作的

这三个词，按重要顺序拆开看

把这个名字倒过来拆解。

模型。 模型是一个把输入变成输出的函数，规则由数据学习得来，而不是由程序员写死的。天气模型接收今天的观测数据，输出明天的预报。语言模型接收文本，输出下一个词出现的概率。

语言。 输入和输出都是文本，被切成token，也就是词的片段。AI中的token是什么 讲了这个基本单位；简单说，模型读写的是大约四分之三个词大小的片段。

大。 模型拥有数量极大的参数，也就是训练过程中不断调整的内部数字。2019年的GPT-2有15亿个参数。2020年的GPT-3有1750亿个。这个网站2026年收录的模型目录里，有一个Qwen模型拥有2.4万亿个参数，其中任意一个token激活的大约有950亿个。"大"这个字在名字里承担了很多含义，七年间这个数字已经增长了超过一千倍。

所以大模型本质上是一个非常庞大的下一词预测器。人们归给它的所有其他特质，推理能力、语气、自信满满的错误，都是从这一个任务衍生出来的。

大模型不是聊天机器人，这个区别就是整个产品

ChatGPT是一个应用。GPT是它内部的模型。Claude既是一个模型系列，也是Anthropic围绕这些模型打造的应用。Gemini在Google那边也是同样的故事。什么是AI聊天机器人 讲的是应用层；这一页讲的是引擎。

一旦你意识到引擎是可以更换的，这个区别就不再只是学术上的了。同一个聊天窗口可以把你的消息发给GPT、Claude、Gemini、DeepSeek或Llama，得到的答案在语气、成本、速度和准确度上都不一样。像Whizi这样的多模型工作台正是这个思路：一个窗口，背后280多个模型，一个选择器决定由哪个来回答。应用是方向盘，大模型是引擎，而引擎有几十种。

大模型是如何训练的：两个阶段

第一阶段，预训练。 模型阅读一个巨大的文本语料库，并在每个位置尝试猜测下一个token。每一次猜错都会让参数发生一点微调。Meta曾表示，Llama 3的预训练使用了超过15万亿个token，按每个token约四分之三个词计算（一本7.5万字小说约10万个token），这相当于大约1.5亿本书的文本量。这个阶段结束后，模型是一个出色的自动补全工具，却是一个糟糕的助手：问它一个问题，它可能会接着再问三个问题，因为网络上的文本经常就是这样。

第二阶段，训练后调整。 之后模型会被展示好答案的示例，并由人类评判两个回复中哪个更好，这个过程叫作基于人类反馈的强化学习，也就是RLHF。助手式的行为正是从这里来的：按照你要求的格式回答问题，并拒绝某些请求。这是一种调教，而不是新增知识，事实依然来自第一阶段。

由这两个阶段可以得出两个结论。模型的知识止步于预训练数据截止的那个日期，这就是为什么每个模型都有知识截止日期。而且两个阶段都没有安装事实核查器：模型学会的是生成可能的文本，然后是生成讨人喜欢的文本。真实只是这两者常见的副产品，而不是保证。AI为什么会出错 对此有更深入的讨论。

为什么大模型是预测而不是查找

搜索引擎做的是检索。它有一个页面索引，返回匹配的那些结果。大模型没有索引。它在预训练期间读到的一切都被压缩进了参数里，回答时它从这份压缩里重新生成文本，一次一个token，每个token都从一个概率分布中挑出来。

这就是为什么大模型能为一道它从未见过名字的菜写出一份可行的食谱，也是为什么它能编出一条根本不存在的判例引用。这两者都是听起来合理的续写。模型没有单独的机制去检查一个合理的续写是否真实存在。

各产品采用的解决方法是给它外挂检索：先搜索网页或你的文件，再把相关段落交给模型，让它基于这些内容作答。这个技术叫作RAG，RAG是什么 有详细解释。聊天应用里的网页搜索就是以互联网为来源的RAG。模型依然在做预测，只是预测所用的素材更好了。

同一系列内，价格买到的是什么：用数据说话

每个系列都有一个梯度：一个小模型、一个中间款、一个旗舰款。Artificial Analysis智能指数是一个跨公开推理、编程和知识基准测试的综合评分，为每一级模型打出一个数字，其排行榜也在旁边列出了每百万token的混合价格。以下四条梯度数据取自2026-09-17。

OpenAI花18倍的价格换来15分的提升，Anthropic花36倍换来35分，Qwen花16倍换来19分。DeepSeek打破了这个规律：V4 Flash用不到一半的价格跑赢了V4 Pro。由此可以得出两点。在同一系列内，最后那几分是最贵的，所以对于一个简单的事实性问题，小模型给出的答案和旗舰模型是一样的。而在不同系列之间，价格是质量的一个不可靠的参考：每百万token只要$0.27的DeepSeek V4 Flash，评分比每百万token$5.09的Claude Sonnet 5还要高两分。作为一个买家，关于大模型最有用的一条认识就是：模型是一个可调档位，不是固定成本。Whizi也按这个逻辑收费，用house模型发一条消息花1个额度，用Claude Opus 5要20个，最贵的几档最高能到100个，Whizi的额度是如何计算的 按模型详细列出了每一档。

一个诚实的提醒是：综合指数是跨任务的平均值。对于一长串推理任务，旗舰模型物有所值；对于一次改写任务，它就不值了。想比较每个系列真正擅长什么，该用哪个AI模型 是那个专门帮你决策的页面。

大模型做不到的事，一份清单

下面每一条都是架构本身的后果，不是下一个版本能修好的bug。

• 除非检索把文本递给它，否则它无法知道训练截止日期之后发生的任何事。
• 它无法在长输入上可靠地计数，因为它是按token和概率工作的，而不是按项目循环处理。
• 它无法核实自己的输出；同一个模型再跑一遍，只是同一个预测器又猜了一次。
• 除非产品把笔记存下来再贴回对话里，否则它无法记住你在不同对话之间说过什么；那种记忆是产品层面的功能，不是模型的功能。
• 它无法永远看到整段对话。每个模型都有一个上下文窗口，也就是它一次能考虑的最大文本量，什么是上下文窗口 解释了达到上限后会发生什么。

实际的结论是：把大模型当作一个流利、偶尔会出错的同事，验证工作留在你自己这一侧。让模型变成能自主行动的东西的那个循环，是另一回事，什么是AI智能体 划清了这条界线。对于任何带成本的事情，都去问第二个模型。两个不同的预测器意见一致，只是弱证据；两者意见不一致，才是需要核实的强信号。