2026年AI幻觉率统计:108个模型的数据,以及各项测试为何互相矛盾

快速解答

2026年10月的AI幻觉率统计:在Vectara排行榜上,模型在1.8%至24.2%的摘要中加入了没有依据的内容,108个模型的中位数为9.6%。在AA-Omniscience上,前沿模型对自己答不对的难题,有15%至97%给出了错误答案。Vectara提高测试难度后,44个未更新的模型中有39个得分变差。

The OpenAI, Claude and Gemini logos on plinths in front of curved chrome mirrors that warp their reflections

AI模型在1.8%至24.2%的摘要中加入没有依据的内容,对答不出的难题最多有96.5%会猜错

下面每一项AI幻觉统计,我们都在2026年10月6日回到原始来源核对过。中位数和匹配模型的数量,是我们对Vectara公布的表格自行计算的结果。

统计项数字来源日期
对文档做摘要时的最低幻觉率,108个模型1.8%(Ant Group Finix S1 32B)Vectara幻觉排行榜2026年9月22日
对文档做摘要时的幻觉率中位数9.6%Whizi,根据Vectara的表格计算2026年9月22日
10%或更多摘要含有无依据内容的模型108个中的50个Whizi,根据Vectara的表格计算2026年9月22日
Vectara提高测试难度后的同一批模型39个得分变差,中位数从4.1%升到7.95%Whizi,根据Vectara 2025年和2026年的表格计算2025年10月和2026年9月
凭记忆回答难题时的最低幻觉率,30个前沿配置15.1%(Gemini 4 Argon)Artificial Analysis AA-Omniscience2026年10月6日
同一测试中的最高幻觉率96.5%(DeepSeek V4.1 Flash)Artificial Analysis AA-Omniscience2026年10月6日
GPT-6 Astra在三项不同测试中的表现4.2%、8.7%和51.3%OpenAI、Vectara、Artificial Analysis2026年9月和10月
AI新闻回答中至少有一个严重问题的比例45%EBU和BBC,14种语言的2,709个回答2025年10月
复述虚假新闻说法的聊天机器人回答超过28%NewsGuard,11个聊天机器人2026年1月审计
涉及AI虚构内容的法院判决2,149Damien Charlotin,AI Hallucination Cases数据库2026年10月6日
在工作中使用AI并表示它导致工作出错的员工56%KPMG和墨尔本大学,48,000人2025年4月
给出幻觉答案的法律研究AI工具17%至33%Stanford RegLab2024年5月
知道得多,不等于猜得少
02550751000204060难题正确率,%答错的未答对题,%Gemini 4 ArgonQwen3.8 MaxGrok 4.7Claude Sonnet 5.5GPT-6 AstraClaude Opus 5.5Claude Fable 5.1GPT-6 LunaMistral Medium 3.5DeepSeek V4.1 Flash

这张图展示的是 AA-Omniscience 在2026年10月6日由Artificial Analysis公布的结果,每个模型取其列出的最高推理档位。横轴是6,000道难题的正确率。纵轴是幻觉率:模型没答对的题目中,给出错误答案而不是说不知道的比例。Anthropic的Claude Fable 5.1知道得最多,正确率67.2%,但它答不对的题里仍有72.6%给出了虚假答案。Google的Gemini 4 Argon答对的更少,只有49.9%,幻觉率却只有15.1%,因为它拒答的次数多得多。知道和乱猜是两种不同的能力。

各模型的AI幻觉率是多少?

在 Vectara的排行榜 上,各模型的AI幻觉率从Ant Group的Finix S1 32B的1.8%,到Mistral的Ministral 3 3B的24.2%,中位数模型为9.6%。Vectara给每个模型同一组7,700多篇文章,统计其摘要里有多少内容是文章没有说过的。没有一个模型的得分为零。

模型厂商含有无依据内容的摘要比例
GPT-5.4 nanoOpenAI3.1%
Gemini 2.5 Flash LiteGoogle3.3%
Llama 3.3 70BMeta4.1%
GPT-6 SolOpenAI6.5%
DeepSeek V4 ProDeepSeek8.6%
GPT-6 AstraOpenAI8.7%
Gemini 3.1 Pro (preview)Google10.4%
Claude Sonnet 4.6Anthropic10.6%
Kimi K2.6Moonshot AI10.8%
Claude Opus 4.7Anthropic12.0%
GPT-5.6 SolOpenAI12.4%
Grok 4.1 Fast (reasoning)xAI19.2%
Mistral Medium (2508)Mistral22.7%

这里每一行都来自Vectara 2026年9月22日的榜单,全部108个模型的完整列表 在Vectara的GitHub页面上。同一厂商的小模型在这项测试中往往比旗舰模型更好:OpenAI的GPT-5.4 nano得分3.1%,而GPT-5.6 Sol是12.4%。更新的模型也不一定更低。Anthropic的Claude Opus 4.7是12.0%,高于更早的Claude Sonnet 4.6。Vectara也坦率说明了测试的局限。它的FAQ承认,一个直接照抄文章句子的模型会得到满分。

同一个模型可以有三个相差很大的数字。OpenAI在2026年9月3日发布的GPT-6 Astra页面,在内部基准上给出4.2%。Vectara测得8.7%,Artificial Analysis则根据推理档位不同给出44.8%至51.3%。三个数字都没错,只是各自回答的问题不同。

为什么各项AI幻觉基准测试结果互相矛盾?

AI幻觉基准测试互相矛盾,是因为每一项测的是不同的失误、不同的任务,分母也不同。引用数字之前,先读清楚它的定义。

基准测试要求模型做什么比率统计的是什么最新范围
Vectara排行榜为给定的文章写摘要含有文章不支持的说法的摘要1.8%至24.2%,2026年9月
Artificial Analysis AA-Omniscience凭记忆回答6,000道难题答错而不是拒答的未答对题30个前沿配置为15.1%至96.5%,2026年10月
OpenAI SimpleQA,见其2025年9月的论文凭记忆回答简短的事实问题所有答错的问题26%(gpt-5-thinking-mini)至75%(o4-mini),2025年9月
OpenAI内部基准回答被用户标记为有误的ChatGPT对话含有任何事实错误的回复4.2%(GPT-6 Astra)和12.2%(GPT-5.6 Sol),2026年9月
NewsGuard AI False Claims Monitor回应关于虚假新闻的提示复述虚假说法的回复超过28%,2026年1月
EBU和BBC News Integrity研究回答新闻问题由记者判定有严重问题的回答各助手为30%至76%,2025年10月

OpenAI的研究人员在2025年9月提出,模型的评分方式让这个问题更严重。他们的文章 写道:"standard training and evaluation procedures reward guessing over acknowledging uncertainty."他们用来说明这一点的SimpleQA数字相当惊人。OpenAI较早的o4-mini答对24%,答错75%,只拒答了1%。较新的gpt-5-thinking-mini答对22%,但拒答52%,只答错26%。在只计算答对数量的计分板上,乱猜的模型会赢。

所以不存在某个模型唯一的"幻觉率"。想看两家厂商如何产生分歧的读者,可以在Whizi 280+个模型中挑两个,用并排对比视图发送同一个问题,而为什么AI会出错则讲了如何核查随后得到的答案。

AI幻觉率随时间在下降吗?

在任何一项固定的测试上,AI幻觉率大体都在下降。但测试本身越来越难,所以模型变好的同时,头条数字也可能上升。Vectara的排行榜清楚地显示了后一种效应。

2025年10月到2026年9月之间,Vectara把数据集换成了7,700多篇文章,有些长达24,000字,并把评判模型从HHEM-2.1换成了HHEM-2.3。我们匹配了两份榜单上名称相同的44个模型,并排除了旧榜单上有两个版本的名称。其中39个在新测试中得分变差,4个变好,DeepSeek V3.1没有变化。这44个模型的中位数从4.1%升到7.95%,而每个模型的发布版本都和之前一样。

同样的模型,更难的测试:44个中有39个得分变差
2025年10月测试2026年9月测试051015摘要占比,%GPT-5 (high)1.4%15.1%高出10.8倍gpt-oss-120b2.4%14.2%高出5.9倍Claude Sonnet 4.55.5%12.0%高出2.2倍Gemini 2.5 FlashLite2.9%3.3%几乎持平DeepSeek V3.15.5%5.5%没有变化Aya Expanse 8B12.2%9.5%四个下降者之一

OpenAI的GPT-5在高推理强度下涨幅最大,从1.4%升到15.1%。所以同一个排行榜上2025年和2026年的数字,不能当作趋势来读。引用数字时要同时写明日期和数据集。

OpenAI自己公布的数字大多是下降的,只有一次反转。它2025年4月的系统卡显示,o3在PersonQA问题上的幻觉率是33%,是更早的o1的16%的两倍,o4-mini则是48%。2025年8月,OpenAI表示带思考的GPT-5出现事实错误的可能性比o3低约80%。2026年9月,它的GPT-6 Astra页面给出该模型的数字为4.2%,GPT-5.6 Sol为12.2%。系统卡说明,这项测试使用的是用户标记过的对话,所以它的比率远高于人们日常使用中遇到的水平。

发布时的数字本身也变过。Fortune在2026年9月4日报道,页面上线后OpenAI把Astra和GPT-5.6 Sol的数字改成了2%和9.4%,随后又换回最初显示的4.2%和12.2%。OpenAI对Fortune表示,这些修改是为了确保数字是其最佳估计。

独立审计则两个方向都有。NewsGuard 发现,2025年8月聊天机器人有35%的时候在复述虚假新闻说法,高于一年前的18%,同期拒答率从31%降到零。其2026年1月的审计把这个比率定在28%以上。BBC自己的对比则相反:有严重问题的回答从首次研究中的51%,降到EBU在2025年10月公布的那一轮中的37%。

Artificial Analysis在2025年11月发现,在它的难题上,除三个模型外,所有模型出现幻觉的可能性都高于答对的可能性。到2026年10月,它默认展示的30个前沿配置中,仍有15个对一半以上答不对的题给出错误答案。中位数是49.8%。

AI助手在新闻上出错的频率有多高?

在2025年10月21日发布的 EBU和BBC研究 中,AI助手对45%的新闻问题给出了有严重缺陷的回答,该研究由18个国家的22家公共广播机构开展。EBU称它是同类评估中规模最大的之一。

记者审阅了ChatGPT、Copilot、Gemini和Perplexity在14种语言中的2,709个回答。出问题最多的是来源。31%的回答存在严重的来源问题,例如来源缺失、错误或归属有误。五分之一的回答有重大准确性问题,包括虚构或过时的细节。Google的Gemini表现最差,76%的回答有严重问题。Copilot为37%,ChatGPT为36%,Perplexity为30%。

哥伦比亚大学的Tow Center用八个AI搜索工具跑了1,600条查询,要求每个工具说出一句引文出自哪篇文章。根据2025年3月的报道,这些工具对超过60%的查询给出了错误答案。Perplexity错了37%。xAI的Grok 3错了94%。

AI幻觉在现实中要付出什么代价?

最清楚的代价出现在法庭上。2026年10月6日,Damien Charlotin的数据库 收录了2,149份法院处理AI虚构内容的判决,其中1,473份在美国。

大多数涉及没有律师的当事人:1,233条记录列出了自行出庭的当事人。律师有854条,法官有33条。Charlotin的数据显示,2025年全年有852份判决,2026年1月至9月就有1,208份,所以今年已经超过去年。在文件点明所用工具的235个案例中,ChatGPT出现在139个里。在以美元注明的192项处罚中,有六项达到或超过$50,000。

第一个出名的案例定下的价格很低。在Mata v. Avianca案中,纽约一名联邦法官于2023年6月22日对两名律师及其律所罚款$5,000。他们引用了ChatGPT编造的六份法院判决。

付费的法律工具有所帮助,但没有解决问题。Stanford RegLab的预注册测试 发布于2024年5月,发现LexisNexis和Thomson Reuters的AI研究工具各自有17%至33%的时候出现幻觉。

咨询公司也不例外。据美联社报道,Deloitte澳大利亚于2025年10月同意退还一份A$440,000政府合同的最后一期款项。悉尼大学的一名研究人员在其237页的报告中发现了多达20处错误,包括一句编造的联邦法院判决引文。修订后的报告披露,写作中使用了Azure OpenAI。

在工作中,代价更隐蔽。在KPMG和墨尔本大学2025年4月发布的一项覆盖47个国家48,000人的调查中,66%使用AI的员工表示,他们不经评估就依赖AI的输出。还有56%表示,自己曾因AI在工作中出过错。

我们如何整理这些数字

本页的每个数字,我们都在2026年10月6日回到原始来源核对过,使用的来源如下:

  • Vectara的GitHub排行榜,包括当前和之前的数据集
  • Artificial Analysis的AA-Omniscience页面及其2025年11月的发布文章
  • OpenAI的论文、系统卡和发布页面
  • NewsGuard的AI False Claims Monitor
  • EBU和BBC的News Integrity报告,以及哥伦比亚大学的Tow Center
  • Damien Charlotin的数据库和Mata v. Avianca案卷
  • Stanford RegLab的论文,以及KPMG和墨尔本大学的调查
  • Fortune和美联社,用于两起企业自己没有公布的事件

有些数字是我们自己计算的。9.6%的中位数和50个模型的数量,来自Vectara 2026年9月22日的表格。匹配对比把2025年10月和2026年9月两份榜单上名称相同的模型配成对。我们排除了在旧榜单上有两个版本或版本不明确的名称,因此GPT-4o、DeepSeek R1、DeepSeek V3、Command R Plus和Mistral Large被剔除。Llama 3.3 70B是把旧榜单上的Instruct版本和新榜单上的Turbo版本匹配起来的。49.8%的中位数涵盖Artificial Analysis默认展示的30个配置,其中有些是同一个模型的两种推理档位。2025年和2026年的法院总数,是把Charlotin的季度计数加总得出的。

我们舍弃了无法追溯的内容。许多统计页面都在重复一个说法:AI幻觉在2024年给企业造成了$67.4 billion的损失。我们找到的这些转载都把出处归于AllAboutAI网站,而我们没有找到背后的原始研究。我们也舍弃了两个OpenAI的浏览相关数字,它们只出现在GPT-5系统卡的图表标签里,我们无法有把握地把每个标签对应到具体的模型。

如何引用这些AI幻觉率统计

本页的每个数字都可以免费使用,只要附上指向本页的链接。一行简单的出处说明就够了:

  • 来源:Whizi Research,"2026年AI幻觉率统计:108个模型的数据,以及各项测试为何互相矛盾",whizi.io/resources/ai-hallucination-statistics,2026年10月更新。

引用某个比率时,请把基准测试和日期写在旁边。同一个模型的Vectara数字和AA-Omniscience数字可以相差近六倍。我们的 ChatGPT统计、AI聊天机器人市场份额、LLM API定价统计 和 AI订阅统计 页面遵循同样的来源规则。

操作清单
  • 写明基准测试:摘要测试、记忆测试和新闻审计测量的是不同的失误
  • 给出日期和数据集,因为Vectara 2025年和2026年的榜单不能直接比较
  • 核对分母:是所有回答、只有答不对的题,还是每一份摘要
  • 说明由谁做的测试,是厂商还是独立实验室
  • 打开原始来源,凡是无法追溯到原始来源的数字都舍弃

常见问题

ChatGPT的幻觉率是多少?

OpenAI的GPT-6 Astra和GPT-6 Sol得分从4.2%到60.1%不等,取决于测试。在Vectara 2026年9月的排行榜上,GPT-6 Sol有6.5%的摘要加入了没有依据的内容,GPT-6 Astra为8.7%。OpenAI在自己的被标记对话基准上给出Astra为4.2%。在2026年10月的AA-Omniscience上,Astra对答不对的难题有44.8%至51.3%给出错误答案,GPT-6 Sol则为60.1%。

哪个AI模型的幻觉最少?

在Vectara的摘要测试中,幻觉最少的是Ant Group的Finix S1 32B,2026年9月为1.8%;主要厂商中最低的是OpenAI的GPT-5.4 nano,为3.1%。当问题很难、必须凭记忆回答时,Google的Gemini 4 Argon在Artificial Analysis展示的30个前沿配置中幻觉率最低,2026年10月为15.1%。

有多少法院案件涉及AI幻觉?

Damien Charlotin的数据库在2026年10月6日收录了2,149份涉及AI虚构内容的法院判决,其中1,473份在美国。1,233条记录中出现自行出庭的当事人,854条出现律师,33条出现法官。2026年1月到9月的判决数已经超过2025年全年,为1,208份对852份。

AI模型的幻觉比以前少了吗?

在固定的测试上,大体是的。OpenAI报告称GPT-5和GPT-6 Astra的事实错误都比之前的模型少,BBC的新闻审计中有严重问题的回答也从51%降到37%。不过测试越来越难,所以2025年的比率和2026年的比率很少能直接比较。Vectara更换数据集后,44个没有变化的模型中有39个得分变差。

还有问题吗?

在这里输入。账户一准备好,Whizi 就会回答。