一个embedding就是一个位置，含义就是距离
给embedding模型输入句子“我怎么才能拿回钱”，它会返回一组数字。给它“退款政策”，它会返回另一组数字。这两组数字彼此靠近。给它“阴极中电子的返还”，尽管共享同一个词，得到的数字列表却相距很远。
这就是全部的窍门。模型学会了把文本放进一个有几百到几千个维度的空间里，让含义而非用词决定文本落在哪里。一旦文本变成了一个位置，关于含义的问题就变成了关于距离的问题，而距离是计算机可以在几毫秒内为上百万个项目计算出来的东西。
早年著名的演示来自2013年的word2vec工作：对词语位置做算术运算，取“king”的向量，减去“man”，加上“woman”，结果最接近的词是“queen”。现代的embedding模型对整句话和整篇文档做同样的事，只是向量更长。
在人们实际使用的模型上，一个embedding有多大
这组数字的长度叫做维度数。它随着模型的发展一直在增长。
2013年的word2vec用了300维，2018年的BERT base用了768维；Voyage 3返回1,024维，OpenAI的text-embedding-3-small每次输入返回1,536个数字，text-embedding-3-large返回3,072个；谷歌的Gemini Embedding默认也是3,072维。维度越多，能容纳的细微差别就越多，代价是存储和比较所需的时间，这也是为什么较新的模型也允许你在速度比精细度更重要时，把列表截断到更小的尺寸。
这些数字单独看都没有意义。第412维不是“正式程度”或“主题”。含义只存在于整组数字相对于其他数字组的位置，这也是为什么一个embedding离开了可比较的集合就毫无用处。
Embedding模型负责查找，语言模型负责写作
人们把两者混为一谈，因为两者都是“处理文本的AI”。但它们是两种模型，做的是相反的工作。
| Embedding模型 | 语言模型（LLM） | |
|---|---|---|
| 输入 | 文本（或图像） | 文本（或图像） |
| 输出 | 一组固定的数字 | 新文本，一次一个token |
| 任务 | 安排输入的位置，让相似的内容彼此靠近 | 合理地续写输入 |
| 用途 | 搜索、匹配、聚类、检索 | 回答、写作、总结 |
| 每百万token的成本 | text-embedding-3-small为$0.02 | 最便宜的GPT一档为$0.20，前沿模型为$2到$10 |
| 会出错吗？ | 可能把不太匹配的结果排在最前面 | 可能编造答案 |
值得注意的是成本这一行。用OpenAI的小型模型对一百万个token做embedding只需$0.02，而GPT-5.6 Luna每百万输入token的价格是$0.20，与Luna Pro和GPT-5.4 Nano并列为最便宜的一档GPT，数据来自AI模型成本索引，取自OpenRouter在2026-08-20的价格。查找比最便宜的GPT写作便宜十倍，比前沿写作模型至少便宜一百倍。这个差距正是为什么每个正经系统都先查找、再写作。什么是LLM讲的是写作这一面。
Embedding在你看不见的地方运行
与你的文档对话。 当你上传一份很长的PDF并提出问题时，文件会被拆分成若干段落，每个段落都会被embedding并存入向量数据库，你的问题也会被embedding，向量最接近的那些段落会作为上下文交给语言模型。模型根据这些段落作答。这就是检索增强生成，什么是RAG详细讲解了这条流水线；embedding就是它的搜索步骤。与PDF对话指南介绍了如何在Whizi里就一份已上传的文件提问。
一份文档究竟是被检索还是被整篇读完，取决于窗口大小。下面按页数列出了每个模型的上下文窗口；能放得下的可以整篇输入，装不下的集合就需要靠检索。
能理解同义词的搜索。 一个支持网站为“停止付费”返回了取消订阅文章，靠的就是比较embedding，而不是匹配文字。
推荐和聚类。 向量相近的条目就是相似的条目：相关商品、重复工单、同一主题的文章。
聊天应用里的记忆功能。 当一个助手“记得”某次旧对话里的事实时，一种常见的实现方式，就是把过去的笔记做成embedding，再检索出最接近的那些放进提示词里。
在每种场景里，embedding负责查找，别的东西负责决定或写作。失败的方式也到处一样：如果最接近的向量是错的段落，那么下游的一切都会自信满满地回答错误的问题，什么是AI幻觉把这种检索失误列为区别于凭空编造的另一种失败形式。
不用写代码，你也能用上这个理念
你几乎不会直接接触到embedding，但了解它的原理会改变你使用这些工具的方式。
- 用答案所在的语言提问。检索是靠含义把你的问题匹配到段落上。用文档本身的表述方式来提问，会比用你平时说话的方式更容易命中。
- 把大文件按主题拆分。一份400页、涉及三个不相关主题的文件，embedding出来的空间会很拥挤；拆成三份文件，检索效果会更干净。
- 阅读被引用的段落。如果一个文件对话的回答引用了某个段落，把它打开看看。检索失误看起来就像是自信地回答了一个略有偏差的问题。
- 别指望它能匹配精确字符串。Embedding关乎含义；发票号或零件编号更适合用纯文本搜索，好的工具会把两者结合起来。
决策规则是：当任务是要在很多内容里找到正确的那一份时，你需要的是embedding模型，而且它应该便宜。当任务是要产出一份内容时，你需要的是语言模型，而且它应该出色。能把这个分工做对的产品，才是文件对话真正好用的产品。
- 记住这个分工：embedding负责查找，语言模型负责写作
- 用文档本身的措辞，向已上传的文档提问
- 把大文件按主题拆分，让检索有一个更干净的空间可搜
- 在信任任何文件对话的答案之前，先打开它引用的段落
- 对发票号、编号等精确字符串使用纯文本搜索；embedding匹配的是含义，不是字符
常见问题
用简单的话说，embedding是什么？
一组代表一段文本含义的数字，其排列方式让含义相近的文本得到相近的数字列表。“退款政策”和“我怎么才能拿回钱”会落得很近；一句包含“退款”这个词的化学论文句子却会落得很远。数字列表之间的距离，就是计算机衡量相关性的方式。
embedding模型和LLM有什么区别？
Embedding模型输出一组代表含义的固定数字；语言模型一次输出一个token的新文本。前者负责查找和匹配，后者负责写作和回答。“与你的文档对话”两者都会用到：用embedding取回相关段落，用LLM根据这些段落写出答案。
一个embedding有多少维度？
这取决于模型。2013年的word2vec用了300维，BERT base用了768维，目前的模型则在1,024到3,072维之间：OpenAI的text-embedding-3-small返回1,536维，text-embedding-3-large返回3,072维，和谷歌Gemini Embedding的默认值一样。较新的模型允许你在速度比精细度更重要时截断到更少的维度。
Embedding贵吗？
不贵，这正是关键所在。OpenAI把text-embedding-3-small定价为每百万token $0.02，而GPT-5.6 Luna每百万输入token是$0.20，前沿聊天模型则是$2到$5，价格取自OpenRouter在2026-08-20的挂牌价。查找比写作便宜十到一百倍，这就是为什么检索系统会把所有内容都做成embedding，只在生成答案时才调用生成模型。
ChatGPT、Claude或Gemini里，embedding用在哪些地方？
用在那些负责“查找”的功能里：文件上传与文档对话、对你过往对话的搜索，以及能从更早的聊天里想起事实的记忆功能。在每一种情况下，通常的设计都是先给文本做embedding，检索出最接近的匹配，再让语言模型根据它们写出答案。Embedding本身你看不见；但检索失误一旦发生，你会看得很清楚。
