
如何核查AI给出的信息?先列出论断,再做四项检查
核查AI回答的方法是:把其中可验证的论断逐条挑出来,每条都过四项检查:换一个模型、打开来源、让它论证相反观点、每个数字搜索一次。错误的回答往往坏在可预见的地方(模型编造的细节、不存在或并未写过这句话的来源、因为你这么问而被迎合的观点、训练结束时还正确但如今已过时的数字),所以只检查这些地方,其余的可以跳过。先让模型列出它的论断:
把你上面回答中的每一条事实性论断列成编号清单,每条一句话。每个数字、人名、日期、引文、来源以及“研究表明”都算一条论断。不要添加新信息。
| 检查 | 时间预算 | 能发现什么 | 你要输入什么 |
|---|---|---|---|
| 1. 问另一家实验室的模型 | 40秒 | 编造的细节,因为两家实验室很少编出同一个细节 | 同一个问题,然后用分歧提示词比对 |
| 2. 索要来源并打开它 | 40秒 | 虚构的引用,以及真实存在但并没有写过该论断的来源 | “把这条论断的确切来源给我” |
| 3. 让它论证相反观点 | 20秒 | 披着分析外衣的一味附和,以及模型最没把握的那条论断 | “现在论证相反观点” |
| 4. 横向阅读,每个数字搜索一次 | 20秒 | 过时的价格、错误的日期、记错的统计数据,以及两个模型共有的谬误 | 带引号的数字,加上它对应的名词 |
这些时间是我们定的预算,为的是让这个习惯能坚持下去,并没有人实际测量过。最后一节会说明哪些回答需要做全部四项检查,哪些只需做一项。
每家实验室的旗舰模型都比本家最佳模型更爱编造,所以没有哪个模型可以免检
没有哪个AI模型准确到可以省掉核查,花钱买某家实验室的旗舰模型也不会降低风险。在Vectara幻觉排行榜上(最近更新于2026年9月22日),六家实验室各自上榜的最强模型,加入无依据论断的频率都高于本家得分最好的模型。
Vectara给每个模型一篇短文档,统计其摘要中有多少含有文档并不支持的论断。这是模型能遇到的最简单的事实任务,因为事实就在提示词里,所以这些比率应当被视为凭记忆回答问题时的下限。图表背后的规则是:对每家实验室,取其在榜上最低的比率,对比其在榜上能力最强的模型(Gemini 3.1 Pro 标注为预览版)。六家实验室平均下来,旗舰模型为每100篇11.0篇,最佳模型为5.2篇,约为两倍。其他读数指向同一方向。2026年9月22日发布的GPT-6 Sol得分6.5,仍是GPT-5.4 nano的3.1的两倍;Grok 4.1 Fast开启推理后升至19.2。整张榜单上的最低比率是1.8,来自蚂蚁集团的Finix S1 32B。没有哪个模型是零。
第1步:换另一家实验室的模型,两者不一致之处就是被编造的细节
第二个模型能抓出第一个模型编造的细节,因为不同实验室训练的两个系统,很少会编出同一个数字、名字、日期或来源。把同一个问题一字不差地粘贴到另一家公司的模型里,然后对照两份回答,找出不同的细节。意见一致说明不了太多,意见不一致则准确告诉你该核查哪一句。如果回答很长,可以让一个模型来做比对:
下面是对同一个问题的两份回答。列出它们在哪些具体论断上存在分歧:数字、名字、日期、来源、是或否。忽略措辞、长度或语气上的差异。如果两者完全一致,请用一行话说明。
两个标签页里的两个免费版就能完成这件事。同时向多个AI模型提问对比了能把一条提示词发给多个模型的工具,其中就有Whizi的并排视图。意见一致有一种已知的失效方式:两个模型学的是同一个公开互联网,所以一条在全网都错的论断,会在两个模型里同样出错。这种情况要靠第4步。
第2步:如何在十秒内判断AI引用是不是假的
虚假的AI引用通不过一个十秒测试,而且这个测试完全不用问模型:把DOI粘贴到doi.org,真实的DOI会跳转到出版方,编造的DOI会返回404。我在2026年9月26日跑过一遍。下文引用的Walters和Wilder的论文,DOI为10.1038/s41598-023-41032-5,返回的是跳转到nature.com的302;前缀相同但后缀是虚构的10.1038/s41598-023-99999-9,返回的是404。没有DOI时,把标题加引号粘贴到Google Scholar,真实的论文会带着相同的作者出现。
对论断本身,请它给出一个来源,然后打开看:
把这条论断的确切来源给我:标题、作者或出版方、年份和链接。如果你没有具体来源,就直说,不要编一个看似合理的。
最后一句让“我没有”成为一个有可能出现的回答,否则它本来不太会这么说。如果回答来自网页搜索,引用已经附在上面,那就是要点开的东西:打开它,在页面上找到那个数字,因为一篇过时的博客文章排名可能和厂商页面一样靠前。然后找出编造的参考文献无法避免的不一致之处,比如期刊和年份对不上、卷号与年份不符、两位真实存在的作者从未合写过文章,或者案号属于另一起案件。
规模是有实测数据的。Walters和Wilder于2023年9月7日在Scientific Reports上发表研究,核查了ChatGPT文献综述中的636条引用:GPT-3.5的引用有55%不存在,GPT-4的有18%不存在。Damien Charlotin的数据库在2026年9月25日收录了2,079份涉及幻觉内容的法院裁决,其中827份由律师提交。在第一起广为人知的案件Mata v. Avianca中,纽约联邦法院于2023年6月22日对两名律师及其律所处以$5,000罚款,判决书引述了律师的说法:他就一个虚构的案例追问时,ChatGPT回答该案“确实存在”。让模型确认它自己的引用,是唯一永远不管用的检查;什么是AI幻觉解释了为什么确认的话会和编造的内容一样流畅。
第3步:AI能自己核查自己吗?只有在你让它论证相反观点时
只有当你改变它的任务时,AI才能检查自己。“你确定吗?”大多换来的是附和,因为附和符合一条有帮助的回复的样子;而“论证相反观点”的指令,会让反对该回答的理由成为最可能出现的下一段文字。提示词如下:
现在论证相反观点。给出最有力的理由,说明上面的回答是错的,并列出这些理由所依据的具体论断。然后指出原回答中你最没把握的那一条论断。
你会得到两样东西。反方论证告诉你这个问题是否真有另一面,而模型自己点名最薄弱的那条论断,直接进入第4步。模型无法从自己的语气里读出自己的把握程度(AI为什么会出错讲了其中的机制),但它能生成反对的理由,错误的细节往往会在那里暴露。
大多数尝试自我核查的人用的是弱版本。在F-Secure的调查中(2026年9月23日发布,对象为美国和英国的1,500名AI用户),35.3%的人用AI来核查AI,47.3%的人说一旦答案听起来对,就不再质疑。同一个模型在同一个对话里被问“你同意自己吗”,大多只会回你一个同意。反向论证的提示词,加上另一家实验室的模型,才是能给你留下可核查内容的做法。
第4步:横向阅读,每个日期、价格和统计数据各搜一次
横向阅读是指离开AI回答,在新标签页里对照掌握该事实的来源逐条核实,这也是马里兰大学和德州农工大学科珀斯克里斯蒂分校图书馆指南针对AI输出所教的方法。这个术语出自Sam Wineburg和Sarah McGrew的研究,对象是45位经验丰富的互联网用户(Teachers College Record,2019年)。面对同样的网站,10位专业事实核查员对比10位历史学博士和25位斯坦福本科生,他们“横向阅读,快速扫一眼就离开该网站”,并在短得多的时间内得出了论据更充分的结论。
对AI回答,做法是机械的。把数字连同它的名词加引号粘贴到搜索引擎里,打开掌握该事实的来源:价格看厂商页面,法律看政府网站,研究发现看原始论文,而不是看对它们的转述文章。价格会在训练结束后变动,日期会被调换,统计数据会被记成错误的分母。路透新闻研究所《2026年数字新闻报告》显示最后一种情况有多容易发生:使用AI聊天机器人获取新闻的人中,42%表示总是或经常点进来源,搜索引擎为44%,社交媒体为36%。这个42%是聊天机器人新闻用户中的占比,不是所有人的占比,一个丢掉限定条件的回答,会把真实的数字变成虚假的论断。
对于新闻和热传的说法,Snopes、PolitiFact和FactCheck.org往往已经做过横向阅读。对于小众的技术、法律或医学论断,掌握事实的来源是专业人士,而AI的回答就成了你带去请教他们的问题清单。
哪些AI回答需要全部四项检查?凡是你要发送、签署、提交或付款的内容
凡是你要发送、签署、提交、发布或为之付款的内容,四项检查全做;只是希望说对的内容,只做第1步;一眼就能看出没问题的草稿,可以跳过。这条规则填补的缺口是有数据的:在同一份F-Secure调查中,近90%的AI用户说核查答案是自己的责任,70%只是有时、很少或从不核查,25.2%曾按AI的建议做出重大的现实决定。对所有内容都适用的习惯,一周就会放弃。按风险高低设定的规则才能坚持,而在这条规则下,凡是含有数字、名字、日期或链接的回答,在四项检查中至少有一项检查过那句话之前,都只是草稿。
- 核查任何内容之前,先让模型把它的事实性论断列成编号清单
- 把同一个问题粘贴到另一家公司的模型里,只看有差异的细节
- 对你在意的每条论断索要一个确切来源,然后打开它,在页面上找到那个数字
- 引用任何论文之前,先把DOI粘贴到doi.org,把论文标题加引号粘贴到Google Scholar
- 永远不要问模型它自己的引用是不是真的;那句确认的生成方式和引用本身一模一样
- 运行“论证相反观点”的提示词,把它点名为最薄弱的论断拿去搜索
- 横向阅读:每个价格、日期和统计数据搜索一次,打开掌握它的来源,而不是转述文章
- 凡是你要发送、签署、提交、发布或付款的内容,都给足完整的两分钟
常见问题
ChatGPT的回答可信吗?
结构、推理和起草可以信任ChatGPT,具体细节要核查。在Vectara 2026年9月22日的排行榜上,即便提示词里附有源文档,GPT-6 Astra每100篇摘要仍有8.7篇加入了无依据的论断,GPT-6 Sol为6.5篇,而凭记忆作答比这更难。上面的四项检查就是信任的实际做法。
AI能自己核查自己吗?
只能部分做到。问同一个模型“你确定吗?”大多得到的是附和,而让它论证相反观点并点出最薄弱的论断,则会给你一条具体的论断去验证。另一家实验室的模型是更强的检查手段,因为它不会和第一个模型有同样的特定盲区。在F-Secure 2026年9月的调查中,35.3%的AI用户曾用AI来核查AI。
怎么判断AI的引用是不是假的?
把DOI粘贴到doi.org:真实的会跳转到出版方,编造的会返回404。把标题加引号粘贴到Google Scholar,真实的论文会带着相同的作者出现。留意期刊和年份对不上,或两位从未合写过文章的作者。不要去问模型:在Mata v. Avianca一案中,ChatGPT告诉律师一个虚构的案例“确实存在”。
AI回答的横向阅读是什么?
横向阅读是离开AI回答,在新标签页中对照掌握该事实的来源逐条核实。这个术语出自Wineburg和McGrew 2019年的研究,其中10位专业事实核查员用这种方式评判网站,比历史学博士和斯坦福本科生用更短的时间得出了论据更充分的结论。对AI输出而言,它就是第4步:每个日期、价格和统计数据搜索一次。