AI 할루시네이션 통계 2026: 108개 모델의 비율, 그리고 테스트마다 결과가 다른 이유

AI 모델은 요약문의 1.8%에서 24.2%에 근거 없는 주장을 덧붙이고, 풀지 못한 어려운 질문의 최대 96.5%에 틀린 답을 짐작으로 내놓습니다

아래 AI 할루시네이션 통계는 모두 2026년 10월 6일에 1차 출처에서 직접 열어 확인했습니다. 중앙값과 일치 모델 수는 Vectara가 공개한 표를 바탕으로 저희가 직접 계산한 값입니다.

이 차트는 2026년 10월 6일 Artificial Analysis가 보여준 AA-Omniscience 결과로, 모델마다 목록에 있는 가장 높은 추론 설정을 기준으로 합니다. 가로축은 어려운 질문 6,000개의 정답률입니다. 세로축은 할루시네이션 비율로, 모델이 맞히지 못한 질문 중 모른다고 말하는 대신 틀리게 답한 비율입니다. Anthropic의 Claude Fable 5.1은 정답률 67.2%로 가장 많이 알지만, 틀린 질문의 72.6%에는 여전히 거짓 답을 내놓습니다. Google의 Gemini 4 Argon은 정답률이 49.9%로 더 낮지만, 답변을 훨씬 자주 거절해서 15.1%에 머뭅니다. 아는 것과 짐작하는 것은 별개의 능력입니다.

모델별 AI 할루시네이션 비율은 어떻게 되나요?

Vectara 리더보드 기준으로 모델별 AI 할루시네이션 비율은 Ant Group의 Finix S1 32B 1.8%에서 Mistral의 Ministral 3 3B 24.2%까지 퍼져 있고, 중앙값은 9.6%입니다. Vectara는 모든 모델에 7,700건이 넘는 같은 기사 세트를 주고, 요약문이 기사에 없는 내용을 주장하는 빈도를 셉니다. 0점을 받은 모델은 하나도 없습니다.

여기 나온 행은 모두 2026년 9월 22일자 Vectara 보드에서 가져왔고, 108개 모델 전체 목록은 Vectara의 GitHub 페이지에 있습니다. 개발사의 소형 모델이 플래그십보다 이 부문에서 더 나은 경우가 많습니다. OpenAI의 GPT-5.4 nano는 3.1%이지만 GPT-5.6 Sol은 12.4%입니다. 최신 모델이 항상 더 낮은 것도 아닙니다. Anthropic의 Claude Opus 4.7은 12.0%로, 더 오래된 Claude Sonnet 4.6보다 위에 있습니다. Vectara는 이 테스트가 못 하는 일을 솔직하게 밝힙니다. FAQ에서 기사 속 문장을 그대로 베끼는 모델은 만점을 받을 수 있다고 인정합니다.

같은 모델이 전혀 다른 세 가지 수치를 가질 수 있습니다. 2026년 9월 3일자 OpenAI의 GPT-6 Astra 출시 페이지는 자체 내부 벤치마크에서 4.2%를 보고합니다. Vectara는 8.7%로 측정하고, Artificial Analysis는 추론 설정에 따라 44.8%에서 51.3%로 봅니다. 셋 다 틀리지 않았습니다. 각자 던지는 질문이 다를 뿐입니다.

AI 할루시네이션 벤치마크는 왜 서로 결과가 다른가요?

AI 할루시네이션 벤치마크의 결과가 다른 이유는 각각이 서로 다른 실패를, 서로 다른 과제로, 서로 다른 분모로 재기 때문입니다. 수치를 인용하기 전에 정의부터 읽으세요.

OpenAI 연구진은 2025년 9월에 모델을 채점하는 방식이 이 문제를 더 키운다고 주장했습니다. 해당 글은 "표준 훈련 및 평가 절차는 불확실성을 인정하는 것보다 짐작하는 것에 보상을 준다"고 말합니다. 이를 보여주려고 쓴 SimpleQA 수치는 극명합니다. OpenAI의 이전 모델 o4-mini는 질문의 24%를 맞히고 75%를 틀렸으며, 답변 거절은 1%뿐이었습니다. 더 새로운 gpt-5-thinking-mini는 22%를 맞혔지만 52%를 거절했고 틀린 것은 26%뿐이었습니다. 맞힌 것만 세는 점수판에서는 짐작하는 쪽이 이깁니다.

그래서 모델 하나에 "할루시네이션 비율" 하나라는 것은 존재하지 않습니다. 두 개발사가 어떻게 다르게 답하는지 보고 싶다면 Whizi의 280+ 모델 중 두 개에 같은 질문을 나란히 보기로 보내 보세요. 그 뒤 답변을 확인하는 방법은 AI가 틀리는 이유에서 다룹니다.

AI 할루시네이션 비율은 시간이 지나며 내려가고 있나요?

고정된 테스트 하나만 보면 AI 할루시네이션 비율은 대체로 내려갔습니다. 하지만 테스트가 계속 어려워지기 때문에, 모델이 나아져도 헤드라인 수치는 오를 수 있습니다. Vectara 리더보드는 이 두 번째 효과를 뚜렷하게 보여줍니다.

2025년 10월부터 2026년 9월 사이 Vectara는 데이터셋을 최대 24,000단어 길이의 기사를 포함한 7,700건 이상으로 교체했고, 판정 모델도 HHEM-2.1에서 HHEM-2.3으로 바꿨습니다. 저희는 두 보드에 같은 이름으로 올라 있는 44개 모델을 짝지었고, 이전 보드에 두 버전으로 실렸던 이름은 뺐습니다. 39개는 새 테스트에서 점수가 나빠졌고, 4개는 좋아졌으며, DeepSeek V3.1은 변하지 않았습니다. 44개의 중앙값은 4.1%에서 7.95%로 올랐고, 모든 모델은 이전과 같은 릴리스입니다.

OpenAI의 GPT-5는 높은 추론 강도에서 1.4%에서 15.1%로 가장 크게 뛰었습니다. 따라서 같은 리더보드의 2025년 수치와 2026년 수치를 추세로 읽어서는 안 됩니다. 수치를 인용할 때는 날짜와 데이터셋을 함께 쓰세요.

OpenAI 자체 수치는 대체로 내려가지만 한 번 거꾸로 갔습니다. 2025년 4월 시스템 카드에서 o3는 PersonQA 질문의 33%에서 환각을 보였는데, 이는 이전 o1의 16%의 두 배였고 o4-mini는 48%였습니다. 2025년 8월 OpenAI는 사고 기능을 켠 GPT-5가 o3보다 사실 오류를 낼 확률이 약 80% 낮다고 밝혔습니다. 2026년 9월 GPT-6 Astra 페이지는 이 모델을 4.2%로, GPT-5.6 Sol은 12.2%로 제시했습니다. 시스템 카드에 따르면 이 테스트는 사용자가 표시한 대화를 사용하므로, 비율이 일상적인 사용에서 보는 값보다 훨씬 높게 나옵니다.

출시 때의 수치 자체도 바뀌었습니다. Fortune은 2026년 9월 4일, OpenAI가 페이지 공개 뒤 Astra와 GPT-5.6 Sol의 수치를 2%와 9.4%로 바꿨다가 처음 보여준 4.2%와 12.2%로 되돌렸다고 보도했습니다. OpenAI는 Fortune에 수정은 수치가 최선의 추정치임을 확실히 하기 위해서였다고 밝혔습니다.

독립 감사는 양쪽 방향으로 움직였습니다. NewsGuard는 챗봇이 거짓 뉴스 주장을 반복한 비율이 2025년 8월에 35%로, 1년 전의 18%에서 올랐고 같은 기간 거절률은 31%에서 0으로 떨어졌다고 확인했습니다. 2026년 1월 감사에서는 이 비율이 28%를 넘었습니다. BBC 자체 비교는 반대로 갔습니다. 심각한 문제가 있는 답변은 첫 연구의 51%에서 EBU가 2025년 10월에 발표한 라운드의 37%로 줄었습니다.

Artificial Analysis는 2025년 11월에 어려운 질문에서 세 모델을 빼고는 모두 정답을 내기보다 환각을 낼 가능성이 더 높다고 확인했습니다. 2026년 10월에도 기본으로 보여주는 최상위 구성 30개 중 15개는 못 푼 질문의 절반 넘게 틀리게 답합니다. 중앙값은 49.8%입니다.

AI 어시스턴트는 뉴스를 얼마나 자주 틀리나요?

2025년 10월 21일 발표된 EBU와 BBC 연구에서 AI 어시스턴트는 뉴스 질문의 45%에 심각한 결함이 있는 답을 줬습니다. 이 연구는 18개국 22개 공영방송사가 진행했으며, EBU는 같은 종류 중 최대 규모의 평가 중 하나라고 설명합니다.

기자들은 ChatGPT, Copilot, Gemini, Perplexity의 14개 언어 답변 2,709건을 검토했습니다. 가장 문제가 많았던 것은 출처 표기입니다. 답변의 31%에서 출처가 없거나 틀리거나 잘못 귀속된 심각한 출처 문제가 있었습니다. 다섯 건 중 한 건은 지어냈거나 오래된 정보를 포함한 중대한 정확성 문제가 있었습니다. Google의 Gemini가 가장 나빠서 답변의 76%에 심각한 문제가 있었습니다. 이어서 Copilot이 37%, ChatGPT가 36%, Perplexity가 30%였습니다.

컬럼비아 대학교 Tow Center는 AI 검색 도구 8개에 쿼리 1,600건을 돌리고 각각에게 인용문이 나온 기사를 말해 달라고 했습니다. 2025년 3월 보고에 따르면 도구들은 쿼리의 60% 넘게 틀린 답을 줬습니다. Perplexity는 37%가 틀렸고, xAI의 Grok 3는 94%가 틀렸습니다.

AI 할루시네이션은 현실에서 어떤 비용을 치르게 하나요?

가장 뚜렷한 비용은 법정에서 나타납니다. 2026년 10월 6일 Damien Charlotin의 데이터베이스에는 법원이 AI가 지어낸 자료를 다룬 판결이 2,149건 올라 있었고, 그중 1,473건은 미국에서 나왔습니다.

대부분은 변호사 없이 나선 사람들이 얽혀 있습니다. 1,233건에 본인 소송 당사자가 기재돼 있고, 변호사는 854건, 판사는 33건입니다. Charlotin의 데이터에서 2025년 한 해 판결은 852건, 2026년 1월부터 9월까지는 1,208건이어서 올해가 이미 작년을 넘었습니다. 서류에 도구 이름이 나온 235건 중 139건에 ChatGPT가 등장합니다. 미국 달러로 기재된 제재 192건 중 여섯 건은 $50,000 이상이었습니다.

첫 유명 사건은 대가를 낮게 매겼습니다. Mata v. Avianca에서 뉴욕 연방 판사는 2023년 6월 22일 변호사 두 명과 로펌에 $5,000의 과태료를 부과했습니다. 이들은 ChatGPT가 지어낸 법원 판결 여섯 건을 인용했습니다.

유료 법률 도구도 도움은 되지만 문제를 없애지는 못합니다. 2024년 5월 공개된 Stanford RegLab의 사전 등록 테스트에서 LexisNexis와 Thomson Reuters의 AI 리서치 도구는 각각 17%에서 33%의 비율로 환각을 보였습니다.

컨설턴트도 예외가 아닙니다. Associated Press에 따르면 Deloitte Australia는 2025년 10월 A$440,000짜리 정부 계약의 마지막 잔금을 반환하기로 했습니다. 시드니 대학교의 한 연구자가 237쪽 보고서에서 연방 법원 판결에서 지어낸 인용문을 포함해 최대 20개의 오류를 찾아냈습니다. 수정된 보고서에는 작성에 Azure OpenAI를 썼다고 명시됐습니다.

직장에서의 비용은 더 조용합니다. 2025년 4월 발표된 KPMG와 멜버른 대학교의 47개국 48,000명 설문에서, AI를 쓰는 직원의 66%가 결과물을 평가하지 않고 그대로 의존한다고 답했습니다. 또 56%는 AI 때문에 업무에서 실수를 했다고 답했습니다.

이 수치들을 어떻게 모았나요

이 페이지의 모든 수치를 2026년 10월 6일에 1차 출처에서 직접 열어 확인했고, 사용한 출처는 다음과 같습니다.

• Vectara의 GitHub 리더보드, 현재 데이터셋과 이전 데이터셋
• Artificial Analysis의 AA-Omniscience 페이지와 2025년 11월 출시 글
• OpenAI의 논문, 시스템 카드, 출시 페이지
• NewsGuard의 AI False Claims Monitor
• EBU와 BBC의 News Integrity 보고서, 컬럼비아 대학교 Tow Center
• Damien Charlotin의 데이터베이스와 Mata v. Avianca 소송 기록
• Stanford RegLab 논문과 KPMG 및 멜버른 대학교 설문
• 회사들이 직접 공개하지 않은 두 사건에 대한 Fortune과 Associated Press

일부 수치는 저희가 직접 계산한 값입니다. 중앙값 9.6%와 모델 50개라는 수는 2026년 9월 22일 Vectara 표에서 나왔습니다. 일치 비교는 2025년 10월과 2026년 9월 보드에 같은 이름으로 올라 있는 모델을 짝지었습니다. 이전 보드에 버전이 둘이거나 버전이 불분명한 이름은 뺐고, 그래서 GPT-4o, DeepSeek R1, DeepSeek V3, Command R Plus, Mistral Large가 빠집니다. Llama 3.3 70B는 이전 보드의 Instruct 빌드와 새 보드의 Turbo 빌드를 짝지었습니다. 중앙값 49.8%는 Artificial Analysis가 기본으로 보여주는 30개 구성을 대상으로 하며, 일부는 한 모델의 두 추론 설정입니다. 2025년과 2026년 법원 합계는 Charlotin의 분기별 집계를 더한 것입니다.

추적할 수 없는 것은 뺐습니다. 많은 통계 페이지가 AI 할루시네이션 때문에 기업이 2024년에 $67.4 billion의 손실을 봤다는 주장을 되풀이합니다. 저희가 찾은 사본은 AllAboutAI 웹사이트를 출처로 내세웠고, 그 뒤에 있는 1차 연구는 찾지 못했습니다. 또 GPT-5 시스템 카드에 차트 라벨로만 나오는 OpenAI 브라우징 수치 두 개도 각 라벨을 모델과 확신 있게 맞출 수 없어 제외했습니다.

이 AI 할루시네이션 통계를 인용하는 방법

이 페이지의 모든 수치는 이 페이지로 링크만 걸면 자유롭게 쓸 수 있습니다. 간단한 출처 표기면 충분합니다.

• 출처: Whizi Research, "AI hallucination statistics 2026: rates across 108 models, and why the tests disagree", whizi.io/resources/ai-hallucination-statistics, 2026년 10월 업데이트.

비율을 인용할 때는 벤치마크와 날짜를 옆에 붙이세요. 같은 모델이라도 Vectara 수치와 AA-Omniscience 수치는 거의 여섯 배 차이가 날 수 있습니다. ChatGPT 통계, AI 챗봇 시장 점유율, LLM API 가격 통계, AI 구독 통계 페이지도 같은 출처 원칙을 따릅니다.