一篇2017年的论文，用注意力取代了循环
2017年6月，八位主要来自Google的研究者发表了一篇题为《Attention Is All You Need》的论文。它提出了一种用于句子翻译的网络，抛弃了当时人人都在用的循环层，只保留了一种操作，注意力，并把它堆叠了很多层。基础模型只有6500万个参数，却在训练时间大幅缩短的情况下超越了此前最好的英译德系统。
这个想法就是论文的标题本身。早期的语言网络一次只读一个token，一路向前携带一份滚动摘要，所以第二十个词能知道的信息，只是前十九步压缩后侥幸留下来的那一点。transformer则一次性读入整个序列。每个token都会问其他每个token“你和我有多相关”，据此加权，再根据答案构建自己的含义。“bank”这个词，如果关注的是“river”还是“account”，得到的结果会完全不同。
九年后，同样的设计经过放大，就是你在ChatGPT里输入内容后回答你的东西。GPT就是生成式预训练transformer的意思。Claude、Gemini、Llama、DeepSeek和Qwen也都是transformer，只是这个标签已经被省去了，因为已经没有别的东西可以拿来对比了。
注意力是一种加权查找，每个token在每一层都要做一次
拿这句话来说：“奖杯放不进手提箱，因为它太大了。”要判断“它”指的是什么，读者会回头看“奖杯”和“手提箱”，挑出能和“太大”搭配起来的那个。注意力机制做的就是这种查找，只不过是用数字来完成的。
每个token都会被转换成三个向量：一个查询（我在找什么）、一个键（我能提供什么）和一个值（如果被选中，我贡献什么）。“它”这个token会拿自己的查询去和其他每个token的键比较，得到每个token的一个相关性分数，把这些分数变成加起来等于1的权重，再按这些权重把各个值加总起来。它的新表示，大部分来自“奖杯”，也掺杂了一点其他内容。模型对每个token并行执行这一操作，用若干个各自独立学习追踪不同关系的“注意力头”完成，并在几十个堆叠的层里重复这个过程。
由此直接引出两个结果。因为每个token都在同一步里被处理，整层运算就变成了一次大矩阵乘法，而这恰好正是GPU擅长做的事，论文里的基础模型在8块GPU上只用12个小时就训练完成了。同时，因为每个token都要和其他每个token比较，一层的计算量会随序列长度的平方增长：token数翻一倍，注意力计算量就变成四倍。
为什么平方才是最终反映到账单上的数字
正是这种二次方成本，让上下文窗口成了各家厂商比拼的规格，也让使用它并非没有代价。一个接受1,000,000个token的模型，需要在每个头、每一层里，对一个百万乘百万的相关性分数网格做注意力运算，而让这一切变得可以承担的工程手段（稀疏模式、滑动窗口、更省算力的注意力变体，以及缓存前面token的键和值，让后续轮次不必重新计算）正是为什么1,000,000个token的窗口是按token计费，而不是被直接拒绝。
在AI模型成本指数里，100行定价数据中有47行的窗口达到或超过1,000,000个token，相比GPT-1的512个和GPT-3的2,048个大幅提升。但每一个模型仍然按输入token计费，因为你发送的每个token都是那个网格里的一行。一份30万token的文档被问十个问题，就是300万个输入token，AI里的token是什么一文给出，在Claude Sonnet 5上这会花费$6。架构解释了账单。
它也解释了失败的模式。transformer在窗口之外没有任何记忆。不在序列里的东西，对它来说就是不存在的，这就是为什么长对话会忘记开头，也是为什么检索，也就是什么是RAG里讨论的主题，存在的意义就是把正确的token重新放回去。
编码器、解码器还是两者都有：形状决定了模型是干什么用的
2017年的模型分成两半：一个读取源句子的编码器，和一个写出译文的解码器。此后几乎所有模型都只保留了其中一半。
| 形状 | 做什么 | 训练目标 | 例子 |
|---|---|---|---|
| 仅编码器 | 读取文本并输出它的表示 | 填补被遮盖的词 | BERT（2018年）、搜索背后的嵌入模型 |
| 仅解码器 | 一次写出一个token的文本 | 预测下一个token | GPT、Claude、Gemini、Llama、DeepSeek、Qwen |
| 编码器加解码器 | 读入一个序列，写出另一个 | 翻译或转换 | 最初的2017年模型、T5 |
你用的聊天模型都是仅解码器的。这个选择是GPT-1在2018年做出的，此后每个聊天模型都沿用至今，这也是为什么语言模型是生成而不是查找：整个网络就是一个下一token预测器，AI里的温度是什么介绍了那个决定选哪个token的旋钮，什么是LLM则顺着这条线索讲到幻觉等问题。仅编码器的模型并没有消失，它们变成了把文本转成向量用于搜索的嵌入模型，这正是注意力机制擅长的另一份工作。
视觉领域走了同样的路。2020年，Vision Transformer论文把一张图片切成16乘16像素的小块，把每个小块当作一个token处理，效果达到了当时最好的卷积网络水平。这就是为什么同一个模型现在既能读你的截图，也能读你的段落：两者都是以token序列的形式进入模型，经过同样的注意力层。图像生成是个例外，大多数图像模型是扩散模型，这是一种不同的设计，什么是生成式AI一文把它单独区分了出来。
从一篇论文到每个前沿模型，九年，按时间排列
下面的时间线从2017年的论文一直排到Whizi今天所路由的模型。橙色标出的是开放了权重的发布版本，也正是这个设计得以扩散到最初两家实验室之外的原因。
参数规模只用三个数字就能讲完这段发展史：2017年基础模型的6500万，三年后GPT-3的1750亿，以及成本指数里2026年定价的最大Qwen模型的2.4万亿，其中大约950亿在处理任意一个token时是激活的。这个跨度里架构本身并没有发生质变，只是变宽、变深、喂了更多数据。这篇文章的判断是：2028年之前发布的任何前沿模型都不会脱离transformer这个架构，而AI模型时间线就是用来验证这一点的地方。
- 把“transformer”理解为“当前所有文本模型共享的设计”，它并不能告诉你哪个模型更好
- 预期成本和延迟会随上下文长度超线性增长，把长文档只上传需要的那一部分
- 假设模型会忘记窗口之外的一切，重要事实要重新说一遍，或者用项目功能把它们固定住
- 把视觉和文本当成同一条流水线：截图也是token，提问的方式和问一段文字一样就行
- 使用前先查发布日期，再决定要不要相信模型的知识，架构本身是没有时钟的
常见问题
AI里的transformer是什么意思？
transformer是一种神经网络架构，出自2017年的论文《Attention Is All You Need》。它用注意力机制并行处理序列中的每个token，注意力是一种让每个token衡量自己与其他每个token相关性的运算，也是GPT、Claude、Gemini、Llama、DeepSeek和Qwen内部使用的架构。论文里并没有说明为什么选了这个名字。
GPT是什么的缩写？
生成式预训练transformer。“生成式”是因为它产出文本，“预训练”是因为它先在大规模语料上学习，之后才为聊天做调优，“transformer”则是因为这是它的网络架构。OpenAI在2018年6月的GPT-1里引入了这个名字。
什么是注意力机制？
这是transformer的核心运算。每个token都会针对序列中的其他每个token计算一个相关性分数，把分数转换成权重，再按这些权重把其他token的表示混合起来。这就是为什么“它”在一句话里指“奖杯”，在另一句话里却指“手提箱”。它在所有token上并行运行，每一层还有若干个注意力头。
为什么transformer取代了循环神经网络？
循环网络一个接一个地读取token，必须把信息一步步向前传递，这既限制了它能记住的内容，也限制了训练速度。transformer一次性读入整个序列，因此能直接访问更早的每个token，并以GPU能高效运行的并行矩阵运算方式训练。2017年那篇论文用大幅缩短的训练时间，就达到了当时最好的翻译系统的水平。
所有AI模型都是transformer吗？
每个前沿LLM都是，Whizi提供的每个文本模型也都是，例外是像Mamba这样的研究路线以及Jamba这类混合架构，它们都没有登顶过任何基准测试。Stable Diffusion和Flux这类图像生成模型是扩散模型，是一种不同的设计，尽管很多模型内部也用transformer来读取提示词。自2020年Vision Transformer论文以来，读取图像的视觉模型也都是transformer，它把图像块当作token处理。
