transformer是什麼？AI背後的關鍵架構

一篇2017年的論文，用注意力取代了循環結構

2017年6月，八位研究人員（多數任職於Google）發表了一篇名為《Attention Is All You Need》的論文。論文提出一種用於句子翻譯的網路架構，捨棄了當時人人使用的循環層，只保留一種運算：注意力（attention），並將其層層堆疊。基礎模型只有6500萬個參數，卻在訓練時間僅為原本一小部分的情況下，打敗了當時最好的英德翻譯系統。

這個構想就寫在標題裡。早期的語言網路是一次讀一個token，把運算摘要不斷往後傳遞，所以第二十個字只能透過十九個壓縮步驟殘留下來的資訊，去了解前面的內容。transformer則是一次讀完整個序列。每個token都會問其他每個token「你跟我有多相關」，據此加權，並由答案建構出自己的意義。「bank」這個字，關注「river」還是「account」，結果會完全不同。

九年後，同樣的設計經過放大，就是你在ChatGPT裡打字時得到答案的原理。GPT指的就是generative pretrained transformer（生成式預訓練transformer）。Claude、Gemini、Llama、DeepSeek和Qwen也都是transformer，只是因為已經沒有其他東西可以拿來對比，這個標籤就漸漸被省略了。

注意力是一種加權查找，每一層裡每個token都會做一次

以句子「The trophy did not fit in the suitcase because it was too big.」（獎盃放不進行李箱裡，因為它太大了）為例。要判斷「it」指的是什麼，讀者會回頭看「trophy」和「suitcase」，選出跟「too big」搭配起來合理的那一個。注意力機制就是這種查找，只是用數字來做。

每個token都會被轉換成三個向量：查詢（query，我在找什麼）、鍵（key，我能提供什麼）和值（value，如果被選中我貢獻什麼）。「it」這個token會拿自己的查詢，跟其他每個token的鍵做比對，得到每個token的相關性分數，把分數轉成總和為一的權重，再依這些權重把各個值加總起來。它的新表示法，大部分來自「trophy」，也帶一點其他東西的成分。模型會對每個token同時平行進行這個運算，透過數個各自獨立的「頭」（head）去學習追蹤不同的關係，並在數十個堆疊的層裡重複執行。

由此直接產生兩個結果。因為每個token都在同一步驟被處理，整層運算就變成一次巨大的矩陣乘法，這正好是GPU最擅長的事，論文裡的基礎模型也就能在8張GPU上以12小時完成訓練。而因為每個token都要跟其他每個token比對，一層的運算成本會隨序列長度呈平方成長：token數量翻倍，注意力運算量就變成四倍。

為什麼「平方」這個數字最終會出現在帳單上

這種平方成長的成本，正是為什麼上下文視窗成了供應商競爭的規格，也是為什麼使用它並非免費。一個接受1,000,000個token的模型，必須在每一個頭、每一層裡，對一個百萬乘百萬的相關性分數網格進行注意力運算，而讓這件事變得划算的工程手段（稀疏模式、滑動視窗、更便宜的注意力變體，以及快取先前token的鍵和值，讓後續回合不必重算），正是為什麼1,000,000 token的視窗是按token計費而不是直接被拒絕的原因。

在AI模型成本指數裡，100個標價的項目中有47個視窗達到1,000,000個token以上，相較之下GPT-1只有512個token，GPT-3也只有2,048個。它們全都仍然按輸入token計費，因為你送出的每個token，都是那個網格裡的一列。一份30萬token的文件，被問十個問題，就是300萬個輸入token，而什麼是AI中的token算出這在Claude Sonnet 5上要花$6。架構本身就解釋了帳單為什麼長這樣。

它也解釋了失敗的模式。transformer在視窗之外沒有任何記憶。不在序列裡的東西，對它來說就是不存在，這正是為什麼長對話會忘記開頭，也是為什麼檢索（也就是什麼是RAG所談的主題）的存在，就是為了把對的token重新放回去。

編碼器、解碼器，或兩者都有：形狀決定了模型的用途

2017年的模型分成兩半：一個讀取原句的編碼器（encoder），和一個寫出翻譯結果的解碼器（decoder）。之後幾乎所有模型都只保留其中一半。

你用的聊天模型全都是純解碼器架構。這個選擇，是GPT-1在2018年做出的，之後每個聊天模型都沿用至今，這也是為什麼語言模型是「生成」而不是「查找」：整個網路本質上就是一個預測下一個token的機器，什麼是AI中的溫度談的是那個決定token的旋鈕，而什麼是LLM則延續這條線索，一路談到幻覺等問題。純編碼器模型並沒有消失，它們變成了把文字轉成向量以供搜尋用的嵌入模型，這正是注意力機制擅長的另一項工作。

視覺領域也走上同一條路。2020年，Vision Transformer論文把一張圖片切成16乘16像素的區塊，把每個區塊當成一個token處理，結果表現追上了當時最好的卷積網路。這正是為什麼現在同一個模型能同時讀懂你的截圖和你的段落：兩者都會變成一連串的token，經過同樣的注意力層處理。圖像生成是例外，大多數圖像模型其實是擴散模型（diffusion model），這是一種不同的設計，什麼是生成式AI有另外把它分開說明。

九年，從一篇論文到今天每個前沿模型，按時間排列

下面的時間軸從2017年的論文，一路走到Whizi今天所連接的模型。橘色標記的是開源了權重的版本，這正是這項設計如何從最早開發它的兩間實驗室擴散出去的過程。

參數數量用三個數字說明了規模的變化：2017年基礎模型是6500萬，三年後的GPT-3是1750億，而成本指數裡2026年最大的Qwen模型則達到2.4兆，其中在單一token上實際啟用的大約只有950億。架構本身在這個規模範圍裡並沒有本質上的改變，只是變得更寬、更深，餵的資料更多。這個頁面下的賭注是：2028年之前發布的任何前沿模型，都不會是transformer以外的東西，而AI模型時間軸就是驗證這個說法的地方。