ChatGPT 引用會捏造來源嗎？會，依研究不同，有 7% 到 69% 的引用根本不存在

ChatGPT 多常捏造來源？依模型與年份，有 7% 到 69% 的引用不存在

ChatGPT 捏造來源的實測比例是它所產生引用的 7% 到 69%，視你看的是哪個模型、哪一年而定。最早的測量結果最糟：Gravel 等人在 2023 年初向 ChatGPT 提出醫學問題，發現它給的 59 筆參考文獻中有 41 筆，也就是 69%，是憑空捏造的。最新的結果最好：Bernstein 等人在 2026 年初請開啟瀏覽的 ChatGPT-5 為 70 項骨科指引建議提供參考文獻，發現有 7.13% 並不存在。沒有任何一項研究得出零，而在我們自己的測試中，一個能正常解析的 DOI 卻指向了錯誤的論文。

這四列是四項不同的研究、四種不同的任務，所以請把圖表當成一個趨勢方向，而不是一條曲線。下方表格列出我們能在原始出處打開的每一項研究，包含查詢模型的年份、樣本數，以及不存在的引用占比。醫學、法律和一般學術的參考文獻都在其中，因為每個領域的失誤都是同一種。

那張表裡有兩件事比標題數字更重要。第一，捏造的比例只是損害的一半：在 Walters 與 Wilder 的研究中，「55% of the GPT-3.5 citations but just 18% of the GPT-4 citations are fabricated. Likewise, 43% of the real (non-fabricated) GPT-3.5 citations but just 24% of the real GPT-4 citations include substantive citation errors.」一筆真實存在、但年份、卷期或作者錯誤的參考文獻，同樣過不了審稿人那一關。第二，比例會隨主題的冷僻程度而變。Linardon 等人請 GPT-4o 針對三種疾患撰寫回顧，結果重度憂鬱症有 6% 的引用是捏造的，暴食症有 28%，身體畸形恐懼症有 29%。你的問題越窄，答案中靠猜的部分就越多。

ChatGPT 為什麼會捏造來源？它寫出的是引用的外形，而不是紀錄本身

ChatGPT 會捏造來源，是因為它產生的是最可能出現的下一串字，而引用是一種高度規律的字串：姓氏、縮寫、年份、標題、期刊、卷期、頁碼、DOI。這個格式的每個部分都很容易接續下去，卻沒有任何一部分是查詢得來的。寫出那筆參考文獻的模型從未打開過資料庫，所以過程中沒有任何機制能分辨真實紀錄和格式完整的假紀錄。

OpenAI 自己的研究人員說，機制的另一半在於訓練。在 Why Language Models Hallucinate（Kalai、Nachum、Vempala 與 Zhang，2025 年 9 月）中，摘要開頭寫道：「Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty.」猜中的引用能得分；「我不知道」得零分；所以模型學會了猜。什麼是 AI 幻覺完整介紹了那篇論文。

這些捏造很少是隨機的。在我們下面的測試中，模型給出了一對真實的作者，他們確實在 2006 年於 Journal of Adolescent Health 發表過關於咖啡因與青少年的論文，接著卻寫出了錯誤的標題、錯誤的期號、錯誤的頁碼，以及屬於另一篇文章的 DOI。每個欄位都取自真相的附近。這就是為什麼假引用能通過一眼掃視，也是為什麼第四節的檢查是讓各欄位彼此對照，而不是拿引用去對照你的記憶。

網路搜尋能阻止 ChatGPT 捏造來源嗎？能降低比例，但不會歸零

網路搜尋能大幅減少捏造的引用，但無法消除。在 Bernstein 等人 2026 年的研究中，開啟瀏覽的 ChatGPT-5 仍然捏造了 2,736 筆參考文獻中的 7.13%，其摘要結尾寫道：「Citation errors and fabricated references persist in ChatGPT-5. Independent verification of generated references therefore remains necessary.」在搜尋增強模型與深度研究代理引用的 53,090 個網址中，Rao、Wong 與 Callison-Burch（2026 年 4 月）發現有 3% 到 13% 指向不存在的頁面，而且引用越多的代理，幻覺也越多。在內建檢索的法律領域，史丹佛的 Magesh 等人（2024）發現 Lexis+ AI 和 Thomson Reuters 的工具「each hallucinate between 17% and 33% of the time」。

我們在 2026 年 9 月 27 日自己做了這個比較，使用的是透過 Whizi 的 GPT-5.6 Luna，在 Whizi 裡網路搜尋是輸入框裡的一個開關。同一個提示詞送出兩次，一次關閉搜尋，一次開啟：「List five peer-reviewed journal articles on caffeine and sleep latency in adolescents. For each give authors, year, article title, journal, volume, pages and DOI.」接著把每個 DOI 都送到 doi.org 和 Crossref API，將回傳的紀錄逐欄與模型所寫的內容比對。

兩次都沒有給出五筆。關閉搜尋時，模型給了兩筆，其餘拒絕提供，並寫道它不想「invent or misstate DOI details」；開啟搜尋時，它給了三筆並附上 PubMed 連結，且表示搜尋結果不足以支持另外兩筆。唯一有問題的引用來自關閉搜尋的那一次，而且是最有啟發性的那種：DOI 可以解析，所以只做 DOI 檢查會放行它，只有讀過落地頁上的標題才抓得到。有兩點要說明。這次是透過 Whizi 執行，Whizi 自己的系統提示詞也在發揮作用，所以這只是某一天、某一個模型的結果，不是一個比率。而且在這個頁面討論的事情上，Whizi 也有不足：截至 2026 年 9 月，它沒有引用檢查器，所以答案中的連結仍然得由你自己打開，也沒有人在這項任務上測量過它的 280+ 個模型，所以模型選單無法告訴你哪一個捏造得最少。網路搜尋開關的作用，是讓模型有即時頁面可以引用，那三筆查證無誤的參考文獻就是這麼來的。

如何在 60 秒內查證 ChatGPT 的引用？四個步驟，依這個順序

查證 ChatGPT 的引用，就是拿它的各個欄位去對照資料庫：搜尋完整標題、解析 DOI 並閱讀落地頁、把卷期和頁碼對照期刊該年的資料，最後打開作者的發表清單。每一步都能抓到前一步漏掉的錯誤，做過兩次之後，整個流程每筆參考文獻大約只要一分鐘。

1. 完整標題搜尋。把標題加上雙引號貼到 Google Scholar 或 Crossref 搜尋框。真實的論文只會出現一次，作者也相同。沒有結果，或結果的作者不同，檢查就到此為止：這筆引用照原樣不能使用。
2. 解析 DOI，然後閱讀。把 DOI 貼在 https://doi.org/ 後面。出現 404 表示 DOI 是捏造的。頁面能載入還不算通過，所以請讀一下頁面上的標題。我們的 Orbeta 引用乾淨地解析到一篇關於 HPV 的論文，Crossref 紀錄顯示是 2005 年第 37 卷第 6 期，而模型寫的是 2006 年第 38(3) 期。
3. 卷期與頁碼對照年份。在期刊網站上打開引用所寫的那一卷，確認年份和頁碼範圍。Walters 與 Wilder 發現 GPT-4 真實存在的引用中有 24% 在某個欄位上有實質錯誤，錯的就是在這一步現形。
4. 作者的發表清單。打開第一作者的 Google Scholar 個人檔案、ORCID 紀錄或系所頁面，在那裡找到這篇論文。兩位真實的作者其實從未合寫過論文，是常見的捏造方式，而且要到這一步才看得出來。

如果要求模型提供識別碼，檢查會更快。在任何索取來源的請求中加上這一句：「Give the DOI and the PubMed ID for every reference, and mark any reference you cannot give a DOI for as unverified.」開啟搜尋的模型會附上連結；關閉搜尋的模型要嘛給出你能解析的 DOI，要嘛承認自己沒有，我們的測試中它就是這麼做的。千萬不要問模型它自己的引用是不是真的：那個確認是用和引用同樣的方式產生的。如何查證 AI 答案是針對論點、數字和引述的兩分鐘通用方法；這套步驟是其中專門針對引用的部分。

如果是要提交、歸檔或發表的參考文獻，四個步驟都要做。如果只是自己閱讀，第一步就足以決定要不要繼續讀下去。

ChatGPT 是可信的來源嗎？引用本身不是，法院已經替這件事算過帳

ChatGPT 不是可信的引用來源，因為引用是關於一筆紀錄的說法，而不是紀錄本身；它是快速找到候選論文的方法，之後你還得打開真正的紀錄。這個區別正在累積帳單。Damien Charlotin 的資料庫收錄當事人依賴幻覺內容的法院裁判，截至 2026 年 9 月 27 日列有 2,086 個案件，其中 1,430 件在美國，828 件由律師提出，33 件由法官提出。這些只是被法院抓到並記錄下來的文件。AI 為什麼會出錯談的是那些根本到不了法官面前的錯誤。

所以決策原則是：聊天模型給的引用在資料庫另有說法之前，都只是一條線索，而一條線索只值得花那一分鐘去查證。