ChatGPT 参考文献会造假吗？会：按研究不同，7%至69%的引用并不存在

ChatGPT多常编造来源？按模型和年份不同，7%至69%的引用

ChatGPT编造来源的实测比例是它所给引用的7%至69%，具体取决于你看的是哪个模型、哪一年。最早的测量结果最差：Gravel等人在2023年初向ChatGPT提出医学问题，发现它给出的59条参考文献中有41条、即69%是凭空捏造的。最新的结果最好：Bernstein等人在2026年初让开启浏览的ChatGPT-5为70条骨科指南建议提供参考文献，发现有7.13%并不存在。没有任何一项研究测出零，而在我们自己的实测里，一个能正常解析的DOI指向的却是另一篇论文。

这四行来自四项不同的研究，任务也各不相同，所以请把图表当作一个趋势方向，而不是一条曲线。下面的表格列出了我们能在原始出处打开的每一项研究，包括查询模型的年份、样本量，以及不存在的引用所占比例。医学、法律和一般学术类参考文献都在其中，因为各个领域的失败方式是一样的。

表中有两点比标题数字更重要。第一，捏造的比例只是损害的一半：在Walters和Wilder的研究中，“55% of the GPT-3.5 citations but just 18% of the GPT-4 citations are fabricated. Likewise, 43% of the real (non-fabricated) GPT-3.5 citations but just 24% of the real GPT-4 citations include substantive citation errors.”一条真实存在、但年份、卷号或作者写错的参考文献，同样过不了审稿人那一关。第二，比例会随主题的冷僻程度而变化。Linardon等人让GPT-4o为三种疾病写综述，结果重度抑郁症的引用有6%是编造的，暴食症为28%，躯体变形障碍为29%。你的问题越窄，答案中靠猜的部分就越多。

ChatGPT为什么会编造来源？它写出的是引用的样子，而不是记录本身

ChatGPT编造来源，是因为它生成的是最可能出现的下一个词，而一条引用恰好是高度规整的字符串：姓氏、缩写、年份、标题、期刊、卷号、页码、DOI。这个格式的每一部分都很容易接着往下写，却没有任何一部分是查出来的。写出这条参考文献的模型从未打开过任何数据库，所以整个过程中没有什么能区分真实记录和格式正确的假记录。

OpenAI自己的研究人员说，这一机制的另一半来自训练。在Why Language Models Hallucinate（Kalai、Nachum、Vempala和Zhang，2025年9月）中，摘要开头写道：“Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty.”猜中的引用能得分，“我不知道”得零分，于是模型学会了猜。什么是AI幻觉一文对这篇论文有完整介绍。

这些捏造很少是随机的。在下面我们的实测中，模型给出了一对真实的作者，他们确实在2006年的Journal of Adolescent Health上发表过关于咖啡因与青少年的论文，但随后写错了标题、期号和页码，DOI也属于另一篇文章。每个字段都取自真相的附近。这就是为什么假引用能躲过一眼扫视，也是为什么第四部分的核查是让各字段互相比对，而不是拿引用去对照你的记忆。

联网搜索能阻止ChatGPT编造来源吗？能降低比例，但不会归零

联网搜索能大幅减少捏造的引用，但不能消除它们。在Bernstein等人2026年的研究中，开启浏览的ChatGPT-5仍然编造了2,736条参考文献中的7.13%，其摘要结尾写道：“Citation errors and fabricated references persist in ChatGPT-5. Independent verification of generated references therefore remains necessary.”在搜索增强模型和深度研究智能体引用的53,090个URL中，Rao、Wong和Callison-Burch（2026年4月）发现有3%至13%指向不存在的页面，而引用最多的智能体，幻觉也最多。在内置检索的法律领域，斯坦福的Magesh等人（2024年）发现Lexis+ AI和汤森路透的工具“each hallucinate between 17% and 33% of the time”。

我们在2026年9月27日自己做了对比，使用的是通过Whizi调用的GPT-5.6 Luna，在这里联网搜索是输入框里的一个开关。同一个提示发送两次，一次关闭搜索，一次开启：“List five peer-reviewed journal articles on caffeine and sleep latency in adolescents. For each give authors, year, article title, journal, volume, pages and DOI.”随后每个DOI都被拿到doi.org和Crossref API上查询，返回的记录与模型所写内容逐字段比对。

两次都没有给出五条。关闭搜索时，模型只给了两条，其余拒绝提供，并写明它不想“invent or misstate DOI details”；开启搜索时，它给了三条并附上PubMed链接，还说明检索结果不足以支持另外两条。那条有问题的引用出自关闭搜索的那次，而且是很有代表性的一种：DOI能解析，所以只做DOI检查会放过它，只有读一读落地页上的标题才能发现。有两点说明。这次测试通过Whizi进行，其自身的系统提示也在起作用，所以它只是某个模型在某一天的表现，不是一个比率。此外，在本文所讨论的这件事上Whizi并不占优：截至2026年9月，它没有引用核查功能，回答里的链接仍需你自己去打开，而且没有人在这项任务上测过它的280+个模型，所以模型选择器也无法告诉你哪一个编造得最少。联网搜索开关的作用，是给模型提供可以引用的实时页面，那三条核查无误的参考文献就是这样来的。

如何在60秒内核查一条ChatGPT引用？四个步骤，按这个顺序

核查ChatGPT引用的方法，是用数据库来检验它的各个字段：搜索完整标题，解析DOI并阅读落地页，把卷号和页码与期刊对应年份比对，最后打开作者的发表列表。每一步都能抓住前一步漏掉的问题，做过两遍之后，每条参考文献整个流程大约只需一分钟。

1. 完整标题搜索。把标题加上英文双引号，粘贴到Google Scholar或Crossref搜索框。真实的论文只会出现一次，作者也一致。没有结果，或结果的作者不同，核查到此结束：这条引用按原样不可用。
2. 解析DOI，然后阅读。把DOI粘贴在https://doi.org/后面。返回404说明DOI是编造的。页面能打开还不算通过，所以要读一读页面上的标题。我们的Orbeta引用能正常解析，却指向一篇关于HPV的论文，Crossref记录显示为2005年第37卷第6期，而模型写的是2006年第38(3)期。
3. 卷号和页码对照年份。在期刊网站上打开引用所写的那一卷，确认年份和页码范围。Walters和Wilder发现GPT-4的真实引用中有24%在某个实质性字段上有误，错误的引用就是在这一步现形的。
4. 作者的发表列表。打开第一作者的Google Scholar主页、ORCID记录或院系页面，在其中找到这篇论文。两位真实的作者其实从未合作过，这是常见的捏造方式，到这一步之前根本看不出来。

如果让模型把标识符给你，核查会更快。在任何索取来源的请求里加上这一句：“Give the DOI and the PubMed ID for every reference, and mark any reference you cannot give a DOI for as unverified.”开启搜索的模型会附上链接；关闭搜索的模型要么给出你能解析的DOI，要么承认自己没有，在我们的实测中它就是这样做的。千万不要问模型它自己的引用是不是真的：这种确认和那条引用是用同样的方式生成的。如何核查AI的回答是针对论断、数字和引文的通用两分钟方法；本文的这套流程是其中专门针对引用的部分。

对于你要提交、归档或发表的参考文献，四个步骤都要做。对于你只是阅读的，第1步就足以决定要不要读下去。

ChatGPT是可信的来源吗？引用本身不是，法院已经给这件事标了价

ChatGPT不是可信的引用来源，因为引用是对一条记录的陈述，而不是记录本身；它只是快速找到候选论文的办法，之后你还得去打开这些论文的真实记录。这个区别已经有一笔不断增加的账单。Damien Charlotin的数据库收录了当事人依赖幻觉材料的法院判决，截至2026年9月27日共列出2,086起案件，其中1,430起在美国，828起由律师提交，33起由法官提交。这些只是被法院发现并记录在案的文件。AI为什么会出错一文谈的是那些从未送到法官面前的错误。

所以判断规则是：聊天模型给出的引用，在数据库另有说法之前只是一条线索，而一条线索值得花的，恰好就是核查它所需的那一分钟。