
AI模型在1.8%至24.2%的摘要中加入没有依据的内容,对答不出的难题最多有96.5%会猜错
下面每一项AI幻觉统计,我们都在2026年10月6日回到原始来源核对过。中位数和匹配模型的数量,是我们对Vectara公布的表格自行计算的结果。
| 统计项 | 数字 | 来源 | 日期 |
|---|---|---|---|
| 对文档做摘要时的最低幻觉率,108个模型 | 1.8%(Ant Group Finix S1 32B) | Vectara幻觉排行榜 | 2026年9月22日 |
| 对文档做摘要时的幻觉率中位数 | 9.6% | Whizi,根据Vectara的表格计算 | 2026年9月22日 |
| 10%或更多摘要含有无依据内容的模型 | 108个中的50个 | Whizi,根据Vectara的表格计算 | 2026年9月22日 |
| Vectara提高测试难度后的同一批模型 | 39个得分变差,中位数从4.1%升到7.95% | Whizi,根据Vectara 2025年和2026年的表格计算 | 2025年10月和2026年9月 |
| 凭记忆回答难题时的最低幻觉率,30个前沿配置 | 15.1%(Gemini 4 Argon) | Artificial Analysis AA-Omniscience | 2026年10月6日 |
| 同一测试中的最高幻觉率 | 96.5%(DeepSeek V4.1 Flash) | Artificial Analysis AA-Omniscience | 2026年10月6日 |
| GPT-6 Astra在三项不同测试中的表现 | 4.2%、8.7%和51.3% | OpenAI、Vectara、Artificial Analysis | 2026年9月和10月 |
| AI新闻回答中至少有一个严重问题的比例 | 45% | EBU和BBC,14种语言的2,709个回答 | 2025年10月 |
| 复述虚假新闻说法的聊天机器人回答 | 超过28% | NewsGuard,11个聊天机器人 | 2026年1月审计 |
| 涉及AI虚构内容的法院判决 | 2,149 | Damien Charlotin,AI Hallucination Cases数据库 | 2026年10月6日 |
| 在工作中使用AI并表示它导致工作出错的员工 | 56% | KPMG和墨尔本大学,48,000人 | 2025年4月 |
| 给出幻觉答案的法律研究AI工具 | 17%至33% | Stanford RegLab | 2024年5月 |
这张图展示的是 AA-Omniscience 在2026年10月6日由Artificial Analysis公布的结果,每个模型取其列出的最高推理档位。横轴是6,000道难题的正确率。纵轴是幻觉率:模型没答对的题目中,给出错误答案而不是说不知道的比例。Anthropic的Claude Fable 5.1知道得最多,正确率67.2%,但它答不对的题里仍有72.6%给出了虚假答案。Google的Gemini 4 Argon答对的更少,只有49.9%,幻觉率却只有15.1%,因为它拒答的次数多得多。知道和乱猜是两种不同的能力。
各模型的AI幻觉率是多少?
在 Vectara的排行榜 上,各模型的AI幻觉率从Ant Group的Finix S1 32B的1.8%,到Mistral的Ministral 3 3B的24.2%,中位数模型为9.6%。Vectara给每个模型同一组7,700多篇文章,统计其摘要里有多少内容是文章没有说过的。没有一个模型的得分为零。
| 模型 | 厂商 | 含有无依据内容的摘要比例 |
|---|---|---|
| GPT-5.4 nano | OpenAI | 3.1% |
| Gemini 2.5 Flash Lite | 3.3% | |
| Llama 3.3 70B | Meta | 4.1% |
| GPT-6 Sol | OpenAI | 6.5% |
| DeepSeek V4 Pro | DeepSeek | 8.6% |
| GPT-6 Astra | OpenAI | 8.7% |
| Gemini 3.1 Pro (preview) | 10.4% | |
| Claude Sonnet 4.6 | Anthropic | 10.6% |
| Kimi K2.6 | Moonshot AI | 10.8% |
| Claude Opus 4.7 | Anthropic | 12.0% |
| GPT-5.6 Sol | OpenAI | 12.4% |
| Grok 4.1 Fast (reasoning) | xAI | 19.2% |
| Mistral Medium (2508) | Mistral | 22.7% |
这里每一行都来自Vectara 2026年9月22日的榜单,全部108个模型的完整列表 在Vectara的GitHub页面上。同一厂商的小模型在这项测试中往往比旗舰模型更好:OpenAI的GPT-5.4 nano得分3.1%,而GPT-5.6 Sol是12.4%。更新的模型也不一定更低。Anthropic的Claude Opus 4.7是12.0%,高于更早的Claude Sonnet 4.6。Vectara也坦率说明了测试的局限。它的FAQ承认,一个直接照抄文章句子的模型会得到满分。
同一个模型可以有三个相差很大的数字。OpenAI在2026年9月3日发布的GPT-6 Astra页面,在内部基准上给出4.2%。Vectara测得8.7%,Artificial Analysis则根据推理档位不同给出44.8%至51.3%。三个数字都没错,只是各自回答的问题不同。
为什么各项AI幻觉基准测试结果互相矛盾?
AI幻觉基准测试互相矛盾,是因为每一项测的是不同的失误、不同的任务,分母也不同。引用数字之前,先读清楚它的定义。
| 基准测试 | 要求模型做什么 | 比率统计的是什么 | 最新范围 |
|---|---|---|---|
| Vectara排行榜 | 为给定的文章写摘要 | 含有文章不支持的说法的摘要 | 1.8%至24.2%,2026年9月 |
| Artificial Analysis AA-Omniscience | 凭记忆回答6,000道难题 | 答错而不是拒答的未答对题 | 30个前沿配置为15.1%至96.5%,2026年10月 |
| OpenAI SimpleQA,见其2025年9月的论文 | 凭记忆回答简短的事实问题 | 所有答错的问题 | 26%(gpt-5-thinking-mini)至75%(o4-mini),2025年9月 |
| OpenAI内部基准 | 回答被用户标记为有误的ChatGPT对话 | 含有任何事实错误的回复 | 4.2%(GPT-6 Astra)和12.2%(GPT-5.6 Sol),2026年9月 |
| NewsGuard AI False Claims Monitor | 回应关于虚假新闻的提示 | 复述虚假说法的回复 | 超过28%,2026年1月 |
| EBU和BBC News Integrity研究 | 回答新闻问题 | 由记者判定有严重问题的回答 | 各助手为30%至76%,2025年10月 |
OpenAI的研究人员在2025年9月提出,模型的评分方式让这个问题更严重。他们的文章 写道:"standard training and evaluation procedures reward guessing over acknowledging uncertainty."他们用来说明这一点的SimpleQA数字相当惊人。OpenAI较早的o4-mini答对24%,答错75%,只拒答了1%。较新的gpt-5-thinking-mini答对22%,但拒答52%,只答错26%。在只计算答对数量的计分板上,乱猜的模型会赢。
所以不存在某个模型唯一的"幻觉率"。想看两家厂商如何产生分歧的读者,可以在Whizi 280+个模型中挑两个,用并排对比视图发送同一个问题,而为什么AI会出错则讲了如何核查随后得到的答案。
AI幻觉率随时间在下降吗?
在任何一项固定的测试上,AI幻觉率大体都在下降。但测试本身越来越难,所以模型变好的同时,头条数字也可能上升。Vectara的排行榜清楚地显示了后一种效应。
2025年10月到2026年9月之间,Vectara把数据集换成了7,700多篇文章,有些长达24,000字,并把评判模型从HHEM-2.1换成了HHEM-2.3。我们匹配了两份榜单上名称相同的44个模型,并排除了旧榜单上有两个版本的名称。其中39个在新测试中得分变差,4个变好,DeepSeek V3.1没有变化。这44个模型的中位数从4.1%升到7.95%,而每个模型的发布版本都和之前一样。
OpenAI的GPT-5在高推理强度下涨幅最大,从1.4%升到15.1%。所以同一个排行榜上2025年和2026年的数字,不能当作趋势来读。引用数字时要同时写明日期和数据集。
OpenAI自己公布的数字大多是下降的,只有一次反转。它2025年4月的系统卡显示,o3在PersonQA问题上的幻觉率是33%,是更早的o1的16%的两倍,o4-mini则是48%。2025年8月,OpenAI表示带思考的GPT-5出现事实错误的可能性比o3低约80%。2026年9月,它的GPT-6 Astra页面给出该模型的数字为4.2%,GPT-5.6 Sol为12.2%。系统卡说明,这项测试使用的是用户标记过的对话,所以它的比率远高于人们日常使用中遇到的水平。
发布时的数字本身也变过。Fortune在2026年9月4日报道,页面上线后OpenAI把Astra和GPT-5.6 Sol的数字改成了2%和9.4%,随后又换回最初显示的4.2%和12.2%。OpenAI对Fortune表示,这些修改是为了确保数字是其最佳估计。
独立审计则两个方向都有。NewsGuard 发现,2025年8月聊天机器人有35%的时候在复述虚假新闻说法,高于一年前的18%,同期拒答率从31%降到零。其2026年1月的审计把这个比率定在28%以上。BBC自己的对比则相反:有严重问题的回答从首次研究中的51%,降到EBU在2025年10月公布的那一轮中的37%。
Artificial Analysis在2025年11月发现,在它的难题上,除三个模型外,所有模型出现幻觉的可能性都高于答对的可能性。到2026年10月,它默认展示的30个前沿配置中,仍有15个对一半以上答不对的题给出错误答案。中位数是49.8%。
AI助手在新闻上出错的频率有多高?
在2025年10月21日发布的 EBU和BBC研究 中,AI助手对45%的新闻问题给出了有严重缺陷的回答,该研究由18个国家的22家公共广播机构开展。EBU称它是同类评估中规模最大的之一。
记者审阅了ChatGPT、Copilot、Gemini和Perplexity在14种语言中的2,709个回答。出问题最多的是来源。31%的回答存在严重的来源问题,例如来源缺失、错误或归属有误。五分之一的回答有重大准确性问题,包括虚构或过时的细节。Google的Gemini表现最差,76%的回答有严重问题。Copilot为37%,ChatGPT为36%,Perplexity为30%。
哥伦比亚大学的Tow Center用八个AI搜索工具跑了1,600条查询,要求每个工具说出一句引文出自哪篇文章。根据2025年3月的报道,这些工具对超过60%的查询给出了错误答案。Perplexity错了37%。xAI的Grok 3错了94%。
AI幻觉在现实中要付出什么代价?
最清楚的代价出现在法庭上。2026年10月6日,Damien Charlotin的数据库 收录了2,149份法院处理AI虚构内容的判决,其中1,473份在美国。
大多数涉及没有律师的当事人:1,233条记录列出了自行出庭的当事人。律师有854条,法官有33条。Charlotin的数据显示,2025年全年有852份判决,2026年1月至9月就有1,208份,所以今年已经超过去年。在文件点明所用工具的235个案例中,ChatGPT出现在139个里。在以美元注明的192项处罚中,有六项达到或超过$50,000。
第一个出名的案例定下的价格很低。在Mata v. Avianca案中,纽约一名联邦法官于2023年6月22日对两名律师及其律所罚款$5,000。他们引用了ChatGPT编造的六份法院判决。
付费的法律工具有所帮助,但没有解决问题。Stanford RegLab的预注册测试 发布于2024年5月,发现LexisNexis和Thomson Reuters的AI研究工具各自有17%至33%的时候出现幻觉。
咨询公司也不例外。据美联社报道,Deloitte澳大利亚于2025年10月同意退还一份A$440,000政府合同的最后一期款项。悉尼大学的一名研究人员在其237页的报告中发现了多达20处错误,包括一句编造的联邦法院判决引文。修订后的报告披露,写作中使用了Azure OpenAI。
在工作中,代价更隐蔽。在KPMG和墨尔本大学2025年4月发布的一项覆盖47个国家48,000人的调查中,66%使用AI的员工表示,他们不经评估就依赖AI的输出。还有56%表示,自己曾因AI在工作中出过错。
我们如何整理这些数字
本页的每个数字,我们都在2026年10月6日回到原始来源核对过,使用的来源如下:
- Vectara的GitHub排行榜,包括当前和之前的数据集
- Artificial Analysis的AA-Omniscience页面及其2025年11月的发布文章
- OpenAI的论文、系统卡和发布页面
- NewsGuard的AI False Claims Monitor
- EBU和BBC的News Integrity报告,以及哥伦比亚大学的Tow Center
- Damien Charlotin的数据库和Mata v. Avianca案卷
- Stanford RegLab的论文,以及KPMG和墨尔本大学的调查
- Fortune和美联社,用于两起企业自己没有公布的事件
有些数字是我们自己计算的。9.6%的中位数和50个模型的数量,来自Vectara 2026年9月22日的表格。匹配对比把2025年10月和2026年9月两份榜单上名称相同的模型配成对。我们排除了在旧榜单上有两个版本或版本不明确的名称,因此GPT-4o、DeepSeek R1、DeepSeek V3、Command R Plus和Mistral Large被剔除。Llama 3.3 70B是把旧榜单上的Instruct版本和新榜单上的Turbo版本匹配起来的。49.8%的中位数涵盖Artificial Analysis默认展示的30个配置,其中有些是同一个模型的两种推理档位。2025年和2026年的法院总数,是把Charlotin的季度计数加总得出的。
我们舍弃了无法追溯的内容。许多统计页面都在重复一个说法:AI幻觉在2024年给企业造成了$67.4 billion的损失。我们找到的这些转载都把出处归于AllAboutAI网站,而我们没有找到背后的原始研究。我们也舍弃了两个OpenAI的浏览相关数字,它们只出现在GPT-5系统卡的图表标签里,我们无法有把握地把每个标签对应到具体的模型。
如何引用这些AI幻觉率统计
本页的每个数字都可以免费使用,只要附上指向本页的链接。一行简单的出处说明就够了:
- 来源:Whizi Research,"2026年AI幻觉率统计:108个模型的数据,以及各项测试为何互相矛盾",whizi.io/resources/ai-hallucination-statistics,2026年10月更新。
引用某个比率时,请把基准测试和日期写在旁边。同一个模型的Vectara数字和AA-Omniscience数字可以相差近六倍。我们的 ChatGPT统计、AI聊天机器人市场份额、LLM API定价统计 和 AI订阅统计 页面遵循同样的来源规则。
- 写明基准测试:摘要测试、记忆测试和新闻审计测量的是不同的失误
- 给出日期和数据集,因为Vectara 2025年和2026年的榜单不能直接比较
- 核对分母:是所有回答、只有答不对的题,还是每一份摘要
- 说明由谁做的测试,是厂商还是独立实验室
- 打开原始来源,凡是无法追溯到原始来源的数字都舍弃
常见问题
ChatGPT的幻觉率是多少?
OpenAI的GPT-6 Astra和GPT-6 Sol得分从4.2%到60.1%不等,取决于测试。在Vectara 2026年9月的排行榜上,GPT-6 Sol有6.5%的摘要加入了没有依据的内容,GPT-6 Astra为8.7%。OpenAI在自己的被标记对话基准上给出Astra为4.2%。在2026年10月的AA-Omniscience上,Astra对答不对的难题有44.8%至51.3%给出错误答案,GPT-6 Sol则为60.1%。
哪个AI模型的幻觉最少?
在Vectara的摘要测试中,幻觉最少的是Ant Group的Finix S1 32B,2026年9月为1.8%;主要厂商中最低的是OpenAI的GPT-5.4 nano,为3.1%。当问题很难、必须凭记忆回答时,Google的Gemini 4 Argon在Artificial Analysis展示的30个前沿配置中幻觉率最低,2026年10月为15.1%。
有多少法院案件涉及AI幻觉?
Damien Charlotin的数据库在2026年10月6日收录了2,149份涉及AI虚构内容的法院判决,其中1,473份在美国。1,233条记录中出现自行出庭的当事人,854条出现律师,33条出现法官。2026年1月到9月的判决数已经超过2025年全年,为1,208份对852份。
AI模型的幻觉比以前少了吗?
在固定的测试上,大体是的。OpenAI报告称GPT-5和GPT-6 Astra的事实错误都比之前的模型少,BBC的新闻审计中有严重问题的回答也从51%降到37%。不过测试越来越难,所以2025年的比率和2026年的比率很少能直接比较。Vectara更换数据集后,44个没有变化的模型中有39个得分变差。