ハルシネーション 率 2026：108モデルの統計と、テスト結果が食い違う理由

AIモデルは要約の1.8%から24.2%に根拠のない主張を加え、答えられない難問では最大96.5%で誤答を返す

以下のAIハルシネーション統計はすべて、2026年10月6日に一次情報源で確認しました。中央値と共通モデルの数は、Vectaraが公開している表をもとにした当社の計算です。

このチャートは、Artificial Analysisが2026年10月6日に示したAA-Omniscienceを、各モデルで掲載されている最も高い推論設定でプロットしたものです。横軸は6,000問の難問の正答率です。縦軸はハルシネーション率で、モデルが正解できなかった問題のうち、「わからない」と言わずに誤答した割合を表します。AnthropicのClaude Fable 5.1は正答率67.2%と最も多くを知っていますが、外した問題の72.6%には誤った内容で答えます。GoogleのGemini 4 Argonは正答率が49.9%と低めですが、答えを控える頻度がはるかに高いため、率は15.1%にとどまります。知っていることと、当て推量をすることは別の能力です。

モデル別のAIハルシネーション率は？

Vectaraのリーダーボードでは、モデル別のAIハルシネーション率はAnt GroupのFinix S1 32Bの1.8%からMistralのMinistral 3 3Bの24.2%まで幅があり、中央値は9.6%です。Vectaraはすべてのモデルに7,700本超の同じ記事群を与え、要約が記事にないことを主張する頻度を数えています。ゼロのモデルは1つもありません。

ここに載せた行はすべてVectaraの2026年9月22日のボードによるもので、108モデルすべての一覧はVectaraのGitHubページにあります。開発元の小型モデルのほうが、主力モデルよりこのテストで良い成績を出すことはよくあります。OpenAIのGPT-5.4 nanoは3.1%ですが、GPT-5.6 Solは12.4%です。新しいほど低いとも限りません。AnthropicのClaude Opus 4.7は12.0%で、より古いClaude Sonnet 4.6の上にあります。Vectaraは自分たちのテストにできないことを率直に認めています。FAQには、記事の文をそのまま写すモデルなら満点が取れてしまう、と書かれています。

同じモデルでも、3つのまったく違う数値を持つことがあります。2026年9月3日付のOpenAIのGPT-6 Astraの発表ページは、社内ベンチマークで4.2%と報告しています。Vectaraの測定では8.7%、Artificial Analysisでは推論設定によって44.8%から51.3%です。3つのどれも間違いではありません。それぞれが違う問いを立てているだけです。

AIハルシネーションのベンチマークはなぜ食い違うのか？

AIハルシネーションのベンチマークが食い違うのは、それぞれが異なる失敗を、異なるタスクで、異なる分母を使って測っているからです。数字を引用する前に、定義を読んでください。

OpenAIの研究者は2025年9月、モデルの採点方法がこの問題を悪化させていると主張しました。その解説には、「標準的な学習と評価の手順は、不確かさを認めることよりも当て推量に報酬を与える」と書かれています。それを示すのに使われたSimpleQAの数字は際立っています。OpenAIの旧モデルo4-miniは24%に正解し、75%で誤答し、答えを控えたのはわずか1%でした。新しいgpt-5-thinking-miniは正解が22%でしたが、52%で答えを控え、誤答は26%にとどまりました。正解だけを数える採点表では、当て推量をするほうが勝ちます。

だからモデルに「ハルシネーション率」を1つだけ付けることはできません。2つの開発元の食い違いを見たい人は、Whiziの280+のモデルのうち2つに同じ質問を送れる並べて比較する画面を使えます。その後の答えの確かめ方は、AIが間違える理由で解説しています。

AIのハルシネーション率は時間とともに下がっているのか？

固定された1つのテストでは、AIのハルシネーション率はおおむね下がってきました。ただしテストのほうが難しくなり続けるため、モデルが良くなっても見出しの数字は上がることがあります。Vectaraのリーダーボードは、この2つめの効果をはっきり示しています。

2025年10月から2026年9月の間に、Vectaraはデータセットを、最長で2万4,000語に及ぶものを含む7,700本超の記事に入れ替え、判定役をHHEM-2.1からHHEM-2.3へ移しました。当社は両方のボードに同じ名前で載っている44モデルを突き合わせ、旧ボードに2つのバージョンがあった名前は除外しました。新しいテストでは39モデルが悪化し、4モデルが改善し、DeepSeek V3.1は変わりませんでした。44モデルの中央値は4.1%から7.95%になり、どのモデルも以前と同じリリースです。

OpenAIのGPT-5は高い推論強度で最大の跳ね上がりを見せ、1.4%から15.1%になりました。そのため、同じリーダーボードの2025年の数字と2026年の数字を、推移として読むことはできません。数字には日付とデータセットを添えて引用してください。

OpenAI自身の数値はおおむね下向きですが、1つだけ逆転があります。2025年4月のシステムカードによると、o3はPersonQAの質問の33%で幻覚を起こしました。これは旧モデルo1の16%の2倍で、o4-miniは48%でした。2025年8月、OpenAIは思考ありのGPT-5はo3より事実の誤りが約80%少ないと述べました。2026年9月のGPT-6 Astraのページでは、モデルは4.2%で、GPT-5.6 Solの12.2%を下回っています。システムカードによると、このテストはユーザーが誤りと指摘した会話を使っているため、日常的に目にする率よりはるかに高く出ます。

発表時の数値自体も動きました。Fortuneは2026年9月4日、OpenAIがページ公開後にAstraとGPT-5.6 Solの数値を2%と9.4%に変更し、その後、最初に出した4.2%と12.2%に戻したと報じました。OpenAIはFortuneに対し、この修正は数値が最良の推定値であることを確かめるためだったと説明しています。

独立した監査は両方向に動きました。NewsGuardは、チャットボットが誤ったニュースの主張を繰り返した割合が、2025年8月に35%で、1年前の18%から上昇し、その間に回答拒否率が31%からゼロへ下がったことを突き止めました。2026年1月の監査では、その率は28%を超えていました。BBC自身の比較は逆方向でした。重大な問題のある回答は、最初の調査の51%から、EBUが2025年10月に公表した回では37%に減りました。

Artificial Analysisは2025年11月、難問に対して正答するよりハルシネーションを起こしやすいモデルが、3つを除くすべてだったと明らかにしました。2026年10月でも、既定で表示される30のフロンティア構成のうち15構成が、外した問題の半分超に誤答しています。中央値は49.8%です。

AIアシスタントはニュースをどれくらい間違えるのか？

2025年10月21日に公表されたEBUとBBCの調査では、18か国の22の公共放送局が実施し、AIアシスタントはニュースの質問の45%に重大な欠陥のある回答を返しました。EBUはこれを、この種の評価として最大級の1つと位置づけています。

ジャーナリストは、ChatGPT、Copilot、Gemini、Perplexityによる14言語の2,709件の回答を確認しました。最も問題が多かったのは出典です。回答の31%に、出典がない、誤っている、帰属が違うといった深刻な出典の問題がありました。5件に1件は、作り話や古い情報を含む重大な正確性の問題を抱えていました。最も成績が悪かったのはGoogleのGeminiで、回答の76%に重大な問題がありました。次いでCopilotが37%、ChatGPTが36%、Perplexityが30%です。

コロンビア大学のTow Centerは、8つのAI検索ツールに1,600件のクエリを流し、引用文がどの記事から来たかをそれぞれに答えさせました。2025年3月の報告によると、ツールはクエリの60%超で誤った答えを返しました。Perplexityは37%で誤り、xAIのGrok 3は94%で誤りでした。

AIのハルシネーションは現実世界でいくらの代償になるのか？

最もはっきりした代償は法廷に現れます。2026年10月6日時点で、Damien Charlotinのデータベースには、裁判所がAIの作り出した内容を扱った判断が2,149件載っており、そのうち1,473件は米国のものでした。

多くは弁護士をつけていない人が関わっています。1,233件の記載が本人訴訟の当事者です。弁護士は854件、裁判官は33件です。Charlotinのデータでは、2025年全体の日付の判断が852件、2026年1月から9月が1,208件で、今年はすでに昨年を超えています。申立書がツール名を挙げている場合、235件のうち139件にChatGPTが登場します。米ドルで示された192件の制裁のうち、6件は$50,000以上に達しました。

最初の有名な事件が示した代償は小さなものでした。Mata v. Avianca事件で、ニューヨークの連邦判事は2023年6月22日、2人の弁護士と所属事務所に$5,000の制裁金を科しました。ChatGPTが作り出した6件の判例を引用したためです。

有料の法務ツールは助けにはなりますが、問題を解消してはくれません。2024年5月に公開されたStanford RegLabの事前登録テストでは、LexisNexisとThomson ReutersのAIリサーチツールが、それぞれ17%から33%の割合で幻覚を起こすことがわかりました。

コンサルタントも例外ではありません。Associated Pressによると、Deloitteオーストラリアは2025年10月、A$440,000の政府契約の最終分割払い分を返金することに同意しました。シドニー大学の研究者が、237ページの報告書に最大20件の誤りを見つけ、その中には連邦裁判所の判決からの引用の捏造も含まれていました。改訂版の報告書は、作成にAzure OpenAIが使われたことを開示しています。

職場での代償はもっと静かです。2025年4月に公表されたKPMGとメルボルン大学による47か国4万8,000人の調査では、AIを使う従業員の66%が、出力を評価せずに頼っていると答えました。そして56%が、AIのせいで仕事上のミスをしたことがあると答えました。

これらの数値の集め方

このページのすべての数値は、2026年10月6日に一次情報源で確認しました。使った情報源は次のとおりです。

• VectaraのGitHubリーダーボード、現在のデータセットと以前のデータセット
• Artificial AnalysisのAA-Omniscienceページと2025年11月の発表記事
• OpenAIの論文、システムカード、発表ページ
• NewsGuardのAI False Claims Monitor
• EBUとBBCのNews Integrity報告書、およびコロンビア大学のTow Center
• Damien Charlotinのデータベースと、Mata v. Avianca事件の訴訟記録
• Stanford RegLabの論文、およびKPMGとメルボルン大学の調査
• FortuneとAssociated Press、企業自身が公表しなかった2つの出来事について

一部の数値は当社自身の計算です。中央値9.6%と50モデルという数は、Vectaraの2026年9月22日の表によるものです。突き合わせ比較は、2025年10月と2026年9月のボードに同じ名前で載っているモデルを組にしています。旧ボードに2つのバージョンがある名前や、バージョンがはっきりしない名前は除外したため、GPT-4o、DeepSeek R1、DeepSeek V3、Command R Plus、Mistral Largeが対象から外れます。Llama 3.3 70Bは、旧ボードのInstruct版と新ボードのTurbo版を対応させています。中央値49.8%は、Artificial Analysisが既定で表示する30構成を対象としており、1つのモデルが2つの推論設定で入っているものもあります。2025年と2026年の裁判所の合計は、Charlotinの四半期ごとの件数を足したものです。

たどれなかったものは載せませんでした。多くの統計ページが、AIのハルシネーションが2024年に企業へ$67.4 billionの損失を与えたという主張を繰り返しています。私たちが見つけた転載はAllAboutAIのウェブサイトを出典としていて、その裏づけになる一次研究は見つかりませんでした。また、GPT-5のシステムカードにグラフのラベルとしてのみ載っているOpenAIのブラウジングの数値2つも、各ラベルをどのモデルのものか確信を持って対応づけられなかったため、除外しました。

これらのAIハルシネーション統計の引用方法

このページのすべての数値は、このページへのリンクを付ければ自由に使えます。次のようなシンプルなクレジット表記で十分です。

• 出典：Whizi Research、「ハルシネーション 率 2026：108モデルの統計と、テスト結果が食い違う理由」、whizi.io/resources/ai-hallucination-statistics、2026年10月更新。

率を引用するときは、ベンチマークと日付を隣に添えてください。同じモデルのVectaraの数値とAA-Omniscienceの数値は、6倍近く違うこともあります。当社のChatGPT統計、AIチャットボット市場シェア、LLM API料金統計、AIサブスクリプション統計のページも、同じ出典ルールに従っています。