LLMとは？大規模言語モデルの仕組み

意味を持つ順番で、3つの単語を分解する

名前を後ろから分解してみましょう。

モデル。 モデルとは、入力を出力に変換する関数で、そのルールはプログラマーが書くのではなくデータから学習されます。天気予報モデルは今日の観測データを受け取り、明日の予報を出力します。言語モデルはテキストを受け取り、次に来る言葉の確率を出力します。

言語。 入力と出力はテキストで、トークンと呼ばれる単語の断片に分割されます。AIにおけるトークンとはではこの単位を詳しく扱っていますが、要点はモデルがおよそ4分の3単語ほどの断片単位で読み書きしているということです。

大規模。 モデルは学習によって調整される内部の数値、パラメータを非常に多く持っています。2019年のGPT-2は15億個でした。2020年のGPT-3は1750億個でした。このサイトが2026年に価格を掲載しているカタログには、24000億個のパラメータを持つQwenのモデルがあり、そのうち1回のトークンで実際に使われるのは約950億個です。「大規模」という言葉は名前の中で大きな意味を持っており、その数はわずか7年で1000倍以上に増えました。

つまりLLMとは非常に巨大な次トークン予測器です。推論らしさ、口調、自信満々の間違いなど、人々がLLMに見出すその他の性質はすべて、この一つの仕事から生まれています。

LLMはチャットボットではない、そしてこの違いが製品のすべて

ChatGPTはアプリです。GPTはその中にあるモデルです。Claudeはモデル群であると同時に、Anthropicがそれを包んで作ったアプリでもあります。GeminiもGoogleにおける同じ構造です。AIチャットボットとはではアプリ層を扱っており、このページはエンジンについて扱います。

この区別は、エンジンが交換可能だと知った瞬間に机上の話ではなくなります。同じチャット画面から、あなたのメッセージをGPT、Claude、Gemini、DeepSeek、Llamaのいずれにも送ることができ、その回答は口調、コスト、速度、正確さの点で異なります。Whiziのようなマルチモデルワークスペースはまさにこれで、1つの画面の背後に280以上のモデルがあり、どれが回答するかを選ぶピッカーがあります。アプリはハンドルであり、LLMはエンジンで、その種類は何十もあります。

LLMは2段階で学習される

第1段階、事前学習。 モデルは膨大なテキストコーパスを読み、各位置で次のトークンを推測しようとします。推測を間違えるたびにパラメータが少しずつ調整されます。Metaによると、Llama 3は15兆トークン以上で事前学習されており、これは1トークンあたり約4分の3単語として、75000語の小説がおよそ10万トークンに相当することから計算すると、およそ1億5000万冊分の書籍のテキストに相当します。この段階の後、モデルは優秀な自動補完でありながら、貧弱なアシスタントです。質問すると、さらに3つの質問を続けて生成するかもしれません。インターネット上のテキストがしばしばそうなっているからです。

第2段階、後学習。 その後モデルには良い回答の例が示され、2つの返答のどちらが優れているかを人間が評価します。これは人間のフィードバックによる強化学習、通称RLHFと呼ばれるプロセスです。ここからアシスタントらしい振る舞いが生まれます。頼まれた形式で質問に答え、一部の要求を拒否するようになります。これはコーチングであり、新たな知識の獲得ではありません。事実は依然として第1段階から来ています。

この2段階から2つのことが導かれます。モデルの知識は事前学習データが終わった日付で止まるため、すべてのモデルには知識の締め切りがあります。そしてどちらの段階にもファクトチェック機能は組み込まれません。モデルはもっともらしい文章を生成し、その後に好まれる文章を生成するよう学習しただけです。真実はその両方の頻繁な副産物であって、保証ではありません。AIが間違える理由ではこれをさらに掘り下げています。

LLMが検索ではなく予測を行う理由

検索エンジンは取得を行います。ページの索引を持ち、一致するものを返します。LLMには索引がありません。事前学習中に読んだすべての内容はパラメータに圧縮されており、回答時にはその圧縮からテキストを1トークンずつ再生成し、確率分布から各トークンを選んでいます。

だからこそLLMは、名前すら見たことのない料理の使えるレシピを書くことができ、同時に存在しない判例を作り出すこともできます。どちらももっともらしい続きだからです。もっともらしい続きが本物かどうかを確認する別の仕組みをモデルは持っていません。

各製品が使う対策は検索を後付けすることです。まずウェブやあなたのファイルを検索し、その後モデルに該当箇所を渡して、そこから答えるよう指示します。この技術はRAGと呼ばれ、RAGとはで説明しています。チャットアプリ内のウェブ検索は、インターネットを情報源とするRAGです。モデルは依然として予測をしています。ただ、より良い素材から予測しているだけです。

同じファミリー内で価格が何を買っているか、実測

どのファミリーも階段状のラインナップを持っています。小型モデル、中間モデル、フラッグシップです。公開されている推論、コーディング、知識のベンチマークを横断する複合スコアであるArtificial Analysis Intelligence Indexは、各段階に数値を割り当てており、リーダーボードにはその横に100万トークンあたりの混合価格が並んでいます。以下の4つのラインナップは2026年9月17日に確認したものです。

OpenAIは18倍の料金で15ポイントを、Anthropicは36倍で35ポイントを、Qwenは16倍で19ポイントを買っています。DeepSeekはこのパターンを崩しています。V4 FlashはV4 Proより半額以下でありながら上回るスコアを出しています。ここから2つのことが言えます。ファミリー内では最後の数ポイントほど高価になるため、短い事実確認の質問なら小型モデルでもフラッグシップと同じ答えが返ってきます。そしてファミリーをまたぐと、価格は品質の弱い目安にすぎません。DeepSeek V4 Flashは100万トークンあたり$0.27でありながら、$5.09のClaude Sonnet 5より2ポイント高いスコアです。これはLLMを購入する側として知っておくべき最も有用な事実です。モデルは固定コストではなく、ダイヤルなのです。Whiziも同じ論理で課金しており、標準搭載モデルでのメッセージは1クレジット、Claude Opus 5では20クレジット、最も高い行では最大100クレジットにもなります。詳細はWhiziのクレジットの仕組みがモデルごとにまとめています。

正直な注意点として、複合指数はタスク全体の平均です。長い推論の連鎖にはフラッグシップがその価格に見合う働きをしますが、単純な書き直しには見合いません。各ファミリーが実際に何を得意としているかの比較は、どのAIモデルを使うべきかが判断ページになります。

LLMにできないこと、まとめて一覧

以下はすべてアーキテクチャの帰結であり、次のリリースで直るバグではありません。

• 検索がテキストを渡してくれない限り、学習の締め切り以降のことは何も知らない。
• トークンと確率で動作しており、項目を1つずつループする仕組みではないため、長い入力の中で信頼できる数え上げができない。
• 自身の出力を検証できない。同じモデルによる2回目の実行は、同じ予測器がもう一度推測しているだけである。
• 製品側がメモを保存して貼り戻さない限り、会話をまたいであなたのことを覚えられない。その記憶は製品の機能であり、モデルの機能ではない。
• 会話全体を永遠に見ることはできない。どのモデルにも一度に考慮できる最大のテキスト量、コンテキストウィンドウがあり、コンテキストウィンドウとはではその上限に達したときに何が起こるかを説明している。

実用上の帰結はこうです。LLMを、流暢だが時々間違える同僚として扱い、検証はあなた側の仕事として残しておくこと。モデルを自律的に行動するものへと変えるループは別物で、AIエージェントとはがその境界線を引いています。コストが発生することについては、必ず別のモデルにも聞いてみましょう。異なる2つの予測器が一致しても弱い証拠にすぎませんが、一致しないなら確認すべき強い合図です。