AIのトランスフォーマーとは？

2017年の1本の論文が再帰をアテンションに置き換えた

2017年6月、その多くがGoogle在籍だった8人の研究者が「Attention Is All You Need」と題した論文を発表しました。この論文は、それまで誰もが使っていた再帰層を捨て、アテンションという1つの操作だけを何層にも重ねる、文章翻訳のためのネットワークを提案しました。ベースモデルのパラメータ数は6500万で、それまでの最良の英独翻訳システムを、はるかに短い学習時間で上回りました。

アイデアはそのままタイトルになっていました。従来の言語ネットワークは文章を1トークンずつ読み、そのつど要約を引き継いでいくため、20番目の単語が知っているのは、19ステップの圧縮を生き延びた最初の単語の情報だけでした。トランスフォーマーは配列全体を一度に読みます。すべてのトークンが他のすべてのトークンに「あなたは私にとってどれだけ関連があるか」を問いかけて重みをつけ、その答えから自分の意味を組み立てます。「bank」という単語は「river」に注意を向けることも「account」に注意を向けることもあり、そのたびに違う意味になります。

9年後、その同じ設計を拡張したものが、あなたがChatGPTに入力したときに答えを返す仕組みです。GPTはgenerative pretrained transformer（生成的事前学習済みトランスフォーマー）の略です。Claude、Gemini、Llama、DeepSeek、Qwenもすべてトランスフォーマーですが、比較対象が他にないため、その呼び名は省かれています。

アテンションとは重み付き検索であり、各トークンが層ごとに1回行う

「トロフィーはスーツケースに収まらなかった、大きすぎたからだ」という文を考えてみましょう。「it（それ）」が何を指すかを判断するために、読み手は「トロフィー」と「スーツケース」を振り返り、「大きすぎた」と意味が通る方を選びます。アテンションとは、それを数値で行う検索のことです。

各トークンは3つのベクトルに変換されます。クエリ（何を探しているか）、キー（何を提供できるか）、バリュー（選ばれた場合に何を貢献するか）です。「it」というトークンは自分のクエリを他のすべてのトークンのキーと比較して、トークンごとの関連度スコアを得て、そのスコアを合計が1になる重みに変換し、その重みでバリューを合計します。新しい表現は主に「トロフィー」で、残りにわずかに他の要素が混ざったものになります。モデルはこれをすべてのトークンについて並列に行い、異なる関係性を学習するいくつもの独立した「ヘッド」で実行し、それを何十もの層で積み重ねて繰り返します。

ここから2つの結果が直接導かれます。すべてのトークンが同じステップで処理されるため、層全体が1つの大きな行列演算として実行され、これはまさにGPUが得意とする処理であり、論文のベースモデルは8基のGPUで12時間で学習を終えました。そして、すべてのトークンが他のすべてのトークンと比較されるため、1層あたりのコストは配列長の2乗で増加します。トークン数が2倍になれば、アテンションの計算量は4倍になります。

なぜ2乗という数字が請求書に反映されるのか

この2乗のコストこそが、コンテキストウィンドウがプロバイダー各社が競い合う仕様である理由であり、それを使うことが無料ではない理由です。100万トークンを受け付けるモデルは、すべてのヘッド、すべての層で、100万×100万の関連度スコアのグリッドに対してアテンションを実行しなければならず、それを採算に合わせるための技術(スパースなパターン、スライディングウィンドウ、より安価なアテンションの派生形、そして後続のターンで再計算しないよう前のトークンのキーとバリューをキャッシュすること)こそが、100万トークンのウィンドウが拒否されるのではなくトークン単位で課金される理由です。

AIモデルコストインデックスでは、価格が設定された100行のうち47行が100万トークン以上のウィンドウを持っており、GPT-1の512トークンやGPT-3の2,048トークンから大きく増えています。それでもそのすべてが入力トークン単位で課金されます。送信するすべてのトークンが、そのグリッドの1行になるからです。300,000トークンの文書に10個の質問をすれば入力トークンは3,000,000トークンになり、AIにおけるトークンとはによれば、それはClaude Sonnet 5で$6の料金になります。アーキテクチャが請求書を説明しているのです。

それは失敗モードも説明します。トランスフォーマーはウィンドウの外側に記憶を持ちません。配列に含まれていないものは、そのモデルにとって存在しないのと同じです。だからこそ長い会話は冒頭を忘れてしまい、RAGとはで扱う検索という手法が、正しいトークンを配列に戻すために存在するのです。

エンコーダー、デコーダー、あるいは両方：形がモデルの用途を決める

2017年のモデルには2つの半分がありました。原文の文章を読むエンコーダーと、翻訳文を書くデコーダーです。それ以降のほぼすべてのモデルは、片方だけを残しています。

あなたが使うチャットモデルは、すべてデコーダーのみです。この選択は2018年にGPT-1が行い、それ以降すべてのチャットモデルが踏襲したもので、これが言語モデルが検索ではなく生成を行う理由です。ネットワーク全体が次トークン予測器であり、AIにおける温度とはではそのトークンを選ぶダイヤルを扱い、LLMとはではその流れをハルシネーションなどへとたどっています。エンコーダーのみのモデルが消えたわけではありません。それらはテキストを検索用のベクトルに変換するエンベディングモデルになりました。これは、アテンションが得意だとわかったもう1つの仕事です。

ビジョンも同じ道をたどりました。2020年にVision Transformerの論文が、画像を16×16ピクセルのパッチに切り分け、各パッチを1つのトークンとして扱い、最良の畳み込みネットワークに匹敵する性能を示しました。だからこそ、同じモデルがあなたのスクリーンショットも文章も読めるのです。どちらもトークンの配列として届き、同じアテンション層を通過します。画像生成は例外で、ほとんどの画像モデルは拡散モデルという別の設計であり、生成AIとはがそれを切り分けて説明しています。

1本の論文からすべてのフロンティアモデルまでの9年間、年表付き

以下の年表は、2017年の論文からWhiziが現在ルーティングしているモデルまでをたどります。オレンジ色は、オープンウェイトとして公開されたリリースを示しており、これが設計を最初に開発した2つの研究所の外へ広まった経緯です。

パラメータ数は3つの数字で規模の物語を物語ります。2017年のベースモデルの6500万、その3年後のGPT-3の1750億、そしてコストインデックスが2026年に価格を掲載している最大のQwenモデルの2.4兆で、そのうち1トークンあたりで実際に使われるのは約950億です。アーキテクチャはその範囲で種類自体は変わっていません。より幅広く、より深く、より良く鍛えられただけです。このページが張る賭けはこうです。2028年より前にリリースされるフロンティアモデルは、トランスフォーマー以外の何物でもなく、AIモデルの年表がそれを検証する場所です。