ChatGPT 出典 嘘は本当？研究別に見る、引用の7%〜69%が実在しない現実

ChatGPTはどのくらいの頻度で出典を捏造する？モデルと年によって引用の7%〜69%

ChatGPTは、どのモデルとどの年を見るかによって、生成する引用の7%〜69%を捏造します。最も古い測定が最悪でした。Gravelらは2023年初めにChatGPTへ医学の質問をし、59件の参考文献のうち41件、69%が捏造だったと報告しています。最新の測定は最良です。Bernsteinらは2026年初めに、ブラウジング有効のChatGPT-5へ整形外科ガイドラインの推奨70件の根拠となる参考文献を尋ね、7.13%が実在しないことを確認しました。ゼロだった研究はなく、当社の実験でも、問題なく解決されたDOIが別の論文につながっていました。

4行は、課題の異なる4つの研究です。グラフは曲線ではなく傾向として読んでください。下の表は、元の資料を実際に開いて確認できたすべての研究を、モデルに質問した年、サンプル、実在しなかった引用の割合とともにまとめたものです。医学、法律、一般の学術文献の参考文献がすべて含まれています。どの分野でも失敗の仕方は同じだからです。

この表で、見出しの割合よりも重要な点が2つあります。1つ目は、捏造の割合は被害の半分にすぎないことです。WaltersとWilderでは、「GPT-3.5の引用の55%、GPT-4の引用ではわずか18%が捏造である。同様に、実在する(捏造ではない)GPT-3.5の引用の43%、実在するGPT-4の引用ではわずか24%に、重大な引用の誤りが含まれる」とされています。実在していても年、巻、著者が間違っている参考文献は、査読者にとっては同じく不合格です。2つ目は、話題がマイナーなほど割合が上がることです。Linardonらは3つの障害についてGPT-4oにレビューを求め、大うつ病では6%、むちゃ食い障害では28%、身体醜形障害では29%の引用が捏造でした。質問が狭いほど、答えの多くが推測になります。

なぜChatGPTは出典を捏造する？記録ではなく、引用の形を書いているから

ChatGPTが出典を捏造するのは、最も可能性の高い次の言葉を生成しているからです。引用は、姓、イニシャル、年、タイトル、雑誌、巻、ページ、DOIという規則的な文字列です。このパターンはどの部分も続けやすく、どれも検索して調べられてはいません。参考文献を書いたモデルはデータベースを開いていないので、実在する記録と、形式が整っただけの記録をその過程で区別することはできません。

OpenAI自身の研究者は、仕組みの後半は訓練にあると述べています。Why Language Models Hallucinate(Kalai、Nachum、Vempala、Zhang、2025年9月)の要旨は次のように始まります。「難しい試験問題に直面した学生のように、大規模言語モデルは不確かなときに推測し、不確実性を認める代わりに、もっともらしいが誤った文を生成することがある」。推測した引用がたまたま合っていれば得点になり、「わかりません」は無得点なので、モデルは推測することを学びます。AIのハルシネーションとは何かでは、この論文を詳しく取り上げています。

捏造がでたらめであることはまれです。以下の当社の実験では、モデルは2006年にJournal of Adolescent Healthでカフェインと青少年について実際に論文を発表した実在の著者2人を挙げ、そのうえで誤ったタイトル、誤った号、誤ったページ、別の論文のDOIを書きました。どの項目も、真実の近くから引き出されていました。だから偽の引用は一目では見抜けず、第4章の確認方法が、引用を記憶と照らすのではなく、項目同士を突き合わせるのです。

ウェブ検索でChatGPTの出典捏造は止まる？減るがゼロにはならない

ウェブ検索は捏造された引用を大きく減らしますが、なくしはしません。Bernsteinらの2026年の研究では、ブラウジング有効のChatGPT-5でも2,736件の参考文献の7.13%が捏造で、その要旨は次のように結ばれています。「ChatGPT-5では、引用の誤りと捏造された参考文献が残っている。したがって、生成された参考文献を独立して検証する必要がある」。検索拡張モデルとディープリサーチのエージェントが引用した53,090件のURLについて、Rao、Wong、Callison-Burch(2026年4月)は3%〜13%が存在しないページを指していたと報告し、最も多く引用するエージェントが最も多く捏造していました。検索が組み込まれている法律分野でも、StanfordのMageshら(2024年)は、Lexis+ AIとThomson Reutersのツールが「それぞれ17%から33%の確率でハルシネーションを起こす」ことを確認しています。

当社は2026年9月27日に、Whizi経由のGPT-5.6 Lunaで自ら比較を行いました。Whiziでは、ウェブ検索は入力欄のトグルです。同じプロンプトを、検索オフとオンで2回送りました。「青少年のカフェインと入眠潜時に関する査読付き学術論文を5本挙げてください。それぞれについて、著者、年、論文タイトル、雑誌、巻、ページ、DOIを示してください」。そのうえで、すべてのDOIをdoi.orgとCrossref APIで引き、返ってきた記録をモデルの記述と項目ごとに比較しました。

どちらの実行でも5本には届きませんでした。検索オフでは、モデルは2本を挙げ、残りは断り、DOIの詳細を「捏造したり誤って述べたりしたくない」と書きました。検索オンでは、PubMedのリンク付きで3本を挙げ、残り2本は結果が裏付けないと述べました。問題のある引用は検索オフの実行から1件だけ出ており、これは教訓的なタイプです。DOIは解決するのでDOIの確認だけでは通ってしまい、リンク先のページでタイトルを読んで初めて見抜けます。注意点が2つあります。これはWhiziの経由で実行したため、Whiziのシステムプロンプトが作用しており、1つのモデルの1日の結果であって割合ではありません。また、このページの主題に関して、Whiziは不利な点があります。2026年9月時点で引用チェッカーはないので、回答内のリンクは自分で開くリンクのままですし、280+のモデルをこの課題で測定した人もいないため、モデル選択画面からどれが最も捏造しにくいかはわかりません。ウェブ検索のトグルが行うのは、モデルが引用できるライブのページを渡すことで、確認できた3件の参考文献はそこから来ています。

ChatGPTの引用を60秒で確認するには？この順番で4ステップ

ChatGPTの引用の確認は、その項目をデータベースと突き合わせて行います。正確なタイトルを検索し、DOIを解決してリンク先のページを読み、巻とページがその雑誌のその年と合うか照合し、最後に著者の業績一覧を開きます。各ステップは、前のステップで見逃す失敗を捕まえます。2回やれば、1件あたり1分ほどで全体を終えられます。

1. 正確なタイトル検索。タイトルをダブルクォートで囲み、Google ScholarまたはCrossrefの検索ボックスに貼り付けます。実在する論文は同じ著者で1件だけ出ます。ヒットがない、または著者が違う場合はそこで確認終了です。その引用は書かれたままでは使えません。
2. DOIの解決、そして読む。https://doi.org/の後にDOIを貼り付けます。404ならDOIは捏造です。ページが開いてもまだ合格ではないので、そこに書かれたタイトルを読んでください。当社のOrbetaの引用は、HPVに関する論文へ問題なく解決され、Crossrefの記録は、モデルが書いた2006年の38(3)に対して、2005年の37巻6号でした。
3. 年に対する巻とページ。雑誌のサイトで、引用が示す巻を開き、年とページ範囲を確認します。WaltersとWilderはGPT-4の実在する引用の24%で重大な項目が間違っていたと報告しており、誤りが現れるのはここです。
4. 著者の業績一覧。筆頭著者のGoogle Scholarのプロフィール、ORCIDの記録、または所属部署のページを開いて、そこにその論文を探します。実在の著者2人が一緒に書いたことがない、というのはよくある捏造で、このステップまで見えません。

モデルに識別子を出させると、確認が速くなります。出典を求めるどのリクエストにも次の1行を加えてください。「すべての参考文献についてDOIとPubMed IDを示し、DOIを示せない参考文献は未検証と明記してください」。検索オンのモデルはリンクを付け、検索オフのモデルは解決できるDOIを示すか、持っていないと認めます。当社の実験では後者でした。モデルに自分の引用が実在するかを尋ねてはいけません。その確認は引用と同じ方法で生成されるからです。AIの回答をファクトチェックする方法は、主張、数字、引用文に対する一般的な2分間の手法で、この手順はそのうち引用に特化した部分です。

提出、提出書類への記載、公開をする参考文献は、4ステップすべてを行ってください。読むだけの参考文献なら、ステップ1だけで読み進めるかどうかを判断できます。

ChatGPTは信頼できる情報源？引用そのものとしては不可。その代償は裁判所がすでに示している

引用は記録ではなく記録についての主張なので、ChatGPTは引用の信頼できる情報源ではありません。実在の記録を自分で開くための、候補の論文を素早く見つける手段です。この区別にはすでに請求書が発行されています。当事者がハルシネーションの資料に依拠した裁判の判断を集めたDamien Charlotinのデータベースには、2026年9月27日時点で2,086件が掲載され、そのうち1,430件が米国、828件が弁護士による提出、33件が裁判官によるものです。これらは裁判所が見つけて記録した書面です。裁判官の目に触れない誤りについては、AIが間違える理由で扱っています。

判断の基準はこうです。チャットモデルの引用は、データベースが別のことを示すまでは手がかりにすぎず、手がかりの価値は確認にかかる1分に見合うものです。