Embedding是一個位置，意義就是距離
給embedding模型一句「我要怎麼拿回退款」，它會回傳一串數字。給它「退款政策」，它會回傳另一串數字，這兩串數字彼此靠近。給它「陰極電子的退補」這句話，即使同樣出現「退」字，這串數字卻落在很遠的地方。
這就是全部的訣竅。這個模型學會把文字放進一個有數百甚至數千個維度的空間裡，讓「意義」而不是「用字」決定文字要落在哪裡。一旦文字變成一個位置，關於意義的問題就變成了關於距離的問題，而距離正是電腦能在幾毫秒內，針對上百萬筆資料計算出來的東西。
2013年word2vec那個著名的早期示範，做的是文字位置的算術：拿「king」的向量，減去「man」，加上「woman」，結果最接近的字就是「queen」。現代的embedding模型也對整個句子和文件做同樣的事，只是向量變得更長。
以實際使用的模型來看，embedding到底有多大
這串數字的長度稱為維度數，它隨著模型不斷成長。
2013年的word2vec使用300維，2018年的BERT base使用768維；Voyage 3回傳1,024維，OpenAI的text-embedding-3-small每筆輸入回傳1,536個數字，text-embedding-3-large回傳3,072個；Google的Gemini Embedding預設也是3,072維。維度愈多，能保留的細微差異就愈多，但代價是儲存空間與比對時間，這也是為什麼較新的模型會讓你在速度比精細度更重要時，把清單截短成較小的尺寸。
這些數字單獨拿出來都沒有意義。第412維不是「正式程度」，也不是「主題」。意義只存在於整串數字相對於其他數字串的位置，這也是為什麼embedding沒有可比較的集合就毫無用處。
Embedding模型負責尋找；語言模型負責書寫
人們常把兩者搞混，因為兩者都是「處理文字的AI」。但它們是做著相反工作的不同模型。
| Embedding模型 | 語言模型（LLM） | |
|---|---|---|
| 輸入 | 文字（或圖片） | 文字（或圖片） |
| 輸出 | 固定長度的數字清單 | 一次一個token的新文字 |
| 任務 | 把輸入放在相似事物靠近的位置 | 合理地接續輸入內容 |
| 用途 | 搜尋、比對、分群、檢索 | 回答、寫作、摘要 |
| 每百萬token成本 | text-embedding-3-small為$0.02 | 最便宜的GPT為$0.20，前沿模型為$2到$10 |
| 會不會出錯？ | 可能把不佳的比對結果排在第一位 | 可能編造答案 |
成本這一列值得特別留意。用OpenAI的小型模型embedding一百萬個token只要$0.02，相較之下GPT-5.6 Luna每百萬輸入token要價$0.20，與Luna Pro、GPT-5.4 Nano並列最便宜的GPT等級，數據來自AI模型成本索引於2026-08-20擷取的OpenRouter報價。尋找的成本比最便宜的GPT書寫便宜十倍，比前沿等級的書寫至少便宜一百倍。這個落差正是為什麼每個嚴謹的系統都先尋找、再書寫。什麼是LLM說明了書寫這一側的內容。
Embedding在你看不見的地方悄悄運作
與你的文件對話。 當你上傳一份長篇PDF並提問時，檔案會先被切成一段段內容，每一段都會被embedding並存進向量資料庫；你的問題也會被embedding，向量最靠近的段落會被交給語言模型當作上下文，模型再根據這些段落作答。這就是檢索增強生成（RAG），什麼是RAG完整說明了這套流程，embedding正是其中的搜尋步驟。PDF對話指南說明了如何在Whizi中針對上傳的檔案提問。
文件究竟是被搜尋，還是整份被讀完，關鍵在於視窗大小。下面列出各家模型的情境視窗換算成頁數；能放得下的內容就整份放進去，放不下的集合才需要檢索。
懂同義詞的搜尋。 一個支援網站如果能針對「不想再付錢」這句話回傳取消訂閱的文章，代表它比對的是embedding，而不是字面上的用字。
推薦與分群。 向量彼此靠近的項目就是相似的項目：相關商品、重複的客服單，或是同一主題的文章。
聊天應用中的記憶功能。 當一個助理「記得」舊對話中的某個事實時，常見的做法就是把過去的筆記embedding，再檢索出最相近的內容放進提示詞中。
無論哪一種情況，都是embedding負責尋找，其他部分負責判斷或書寫。每一種情況的失敗模式也都一樣：如果最靠近的向量是錯的段落，接下來的每一步都會很有自信地回答錯誤的問題，這正是什麼是AI幻覺裡列為獨立於憑空捏造之外的另一種檢索失誤。
不寫程式碼，你也能運用這個概念
你幾乎不會直接接觸到embedding本身，但了解它的運作方式，會改變你使用這些建立在它之上的工具的方式。
- 用答案所在的語言方式提問。檢索是靠意義把你的問題比對到相關段落，用文件本身的措辭方式提問，會比用你平常說話的方式提問更容易命中。
- 依主題拆分大型上傳檔案。一份400頁、涵蓋三個不相關主題的檔案，embedding出來的空間會很擁擠；拆成三份檔案，檢索起來會乾淨許多。
- 閱讀被引用的段落。如果檔案問答的回答引用了某段內容，把它打開來看。檢索失誤看起來就像是自信地回答了一個稍微不同的問題。
- 別指望它能找出完全一致的字串。Embedding處理的是意義；發票號碼或零件代碼這類東西，用純文字搜尋反而找得更準，好的工具會把兩者結合起來。
判斷原則很簡單：當任務是要在眾多內容中找出正確的那一個，你需要的是embedding模型，而且它應該要便宜。當任務是要產出一段內容，你需要的是語言模型，而且它應該要夠好。能把這個分工做對的產品，檔案問答功能才會真正好用。
- 記住這個分工：embedding負責尋找，語言模型負責書寫
- 用文件本身的措辭方式，向上傳的文件提問
- 依主題拆分大型上傳檔案，讓檢索的空間更乾淨
- 任何檔案問答的回答，在信任之前先打開被引用的段落確認
- 遇到ID或代碼這類精確字串時改用純文字搜尋；embedding比對的是意義，不是字元
常見問題
AI裡的embedding，用簡單的話來說是什麼？
一串代表一段文字意義的數字，意義相近的文字會得到相近的數字串。「退款政策」和「我要怎麼拿回退款」會落在很靠近的位置；而一句提到「退」這個字的化學句子卻會落得很遠。數字串之間的距離，就是電腦用來衡量關聯程度的方式。
Embedding模型跟LLM有什麼不同？
Embedding模型輸出的是代表意義的固定長度數字清單；語言模型則是一次一個token地輸出新文字。前者負責尋找與比對，後者負責書寫與回答。與文件對話的功能兩者都會用到：embedding負責找出相關段落，LLM再根據這些段落寫出答案。
Embedding有多少個維度？
這取決於模型。2013年的word2vec使用300維，BERT base使用768維，目前的模型則落在1,024到3,072維之間：OpenAI的text-embedding-3-small回傳1,536維，text-embedding-3-large回傳3,072維，與Google的Gemini Embedding預設值相同。較新的模型能讓你在速度比精細度更重要時，截短成較少的維度。
Embedding很貴嗎？
不貴，這正是重點所在。OpenAI的text-embedding-3-small每百萬token收費$0.02，相較之下GPT-5.6 Luna每百萬輸入token要$0.20，前沿聊天模型則要$2到$5，數據來自2026-08-20擷取的OpenRouter牌價。尋找的成本比書寫便宜十倍到一百倍，這也是為什麼檢索系統會把所有內容都embedding，卻只針對答案做生成。
ChatGPT、Claude或Gemini裡的embedding用在哪裡？
用在負責尋找內容的功能裡：檔案上傳與文件對話、搜尋你過去的對話紀錄，以及能回想起先前對話中事實的記憶功能。在每一種情況下，常見的做法都是先把文字embedding，檢索出最相近的內容，再讓語言模型根據這些內容寫出答案。Embedding本身你看不到；但檢索失誤發生時，你會看得很清楚。
