할루시네이션은 우연히 거짓인 그럴듯한 답변이다
언어 모델에게 읽어본 적은 있지만 본 적은 없는 책의 인용 페이지 번호를 물어보면, 모델은 페이지 번호를 내놓습니다. "그건 알 수 없습니다"라고 말하지 않습니다. 그 번호는 형식이 올바르고, 훈련 데이터의 다른 모든 인용문처럼 들리는 문장 속에 들어 있으며, 지어낸 것입니다.
이것이 할루시네이션입니다. 유창하고 자신감 있지만 근거가 없는 진술입니다. 이 단어는 은유이며 다소 오해의 소지가 있는데, 실제로 고장 난 것은 아무것도 없기 때문입니다. 모델은 인용문의 가장 그럴듯한 다음 내용을 요청받았고, 그것을 만들어낸 것입니다. 가장 그럴듯하게 들리는 답이 실제로도 참인 질문에서는, 그리고 대부분의 질문이 그렇습니다, 같은 과정이 모델을 쓸모 있게 만듭니다.
이것이 나타나는 형태는 예측 가능합니다. 지어낸 참고문헌과 URL, 출처 없는 통계, 실제 인물이 하지 않은 말로 돌려진 인용, 존재하지 않는 제품 기능, 그리고 확정된 사실처럼 전달되는 법률이나 의료 관련 주장입니다. AI가 틀리는 이유에서 각 유형을 잡아내는 방법을 다룹니다. 이 페이지는 애초에 왜 이런 일이 일어나는지를 다룹니다.
인터넷 전체를 읽은 모델이 왜 여전히 지어내는가
두 가지 메커니즘이 있으며, 서로 겹쳐 작용합니다.
모델은 예측할 뿐, 검색하지 않습니다. 언어 모델에는 사실의 색인이 없습니다. 모델이 읽은 모든 것은 파라미터로 압축되었고, 답변 시점에는 그 압축에서 한 번에 하나씩 토큰을 확률에 따라 골라 텍스트를 다시 생성합니다. 참된 답이 훈련 데이터에 흔했다면 가능성 높은 다음 내용이 곧 참된 답입니다. 드물거나 없거나 모순되었다면, 모델은 그래도 토큰을 골라야 하고, 그럴듯한 것을 고릅니다. LLM이란 무엇인가에서 구조를 설명합니다. 짧게 말하면, 지금 쓰고 있는 문장이 실제인지 스스로 묻는 단계는 존재하지 않습니다.
훈련은 추측을 보상합니다. 2025년 9월 OpenAI는 "Why Language Models Hallucinate"라는 논문을 발표하며, 모델을 평가하는 벤치마크가 오답과 빈 답을 똑같이 0점으로 채점하는 반면 운 좋은 추측은 만점을 받는다고 주장했습니다. 그런 채점 방식에 맞춰 최적화된 모델은 오답에 벌점이 없는 객관식 시험에서 학생이 배우는 것과 같은 교훈을 배웁니다. 항상 추측하라는 것입니다. 이 논문의 제안은 "모르겠습니다"가 자신감 있는 오답보다 더 높은 점수를 받도록 채점 방식을 바꾸는 것입니다.
할루시네이션에 금전적 대가를 매긴 두 소송
Mata v. Avianca, 뉴욕, 2023년. 두 변호사가 ChatGPT가 만들어낸 여섯 건의 판례를 인용한 준비서면을 제출했습니다. 여섯 건 모두 존재하지 않았습니다. 판사는 2023년 6월 이 변호사들에게 $5,000의 제재금을 부과했고, 지어낸 판결문이 귀속된 판사들에게 직접 서한을 쓰도록 했습니다. 변호사의 진술서에 첨부된 스크린샷에는 그가 ChatGPT에게 그 판례들이 실재하는지 물었고, ChatGPT가 실재한다고 확인해 준 장면이 담겨 있습니다.
Moffatt v. Air Canada, 브리티시컬럼비아, 2024년. 에어캐나다 웹사이트의 챗봇은 한 고객에게 정가 항공권을 예매한 뒤 나중에 상(喪)조위 할인을 신청할 수 있다고 안내했습니다. 항공사의 실제 정책은 그 반대였습니다. 에어캐나다가 챗봇은 자기 발언에 책임을 지는 별도의 법적 실체라고 주장하자, 민사분쟁해결심판원은 2024년 2월 이를 기각하고 항공사에 C$812.02 지급을 명령했습니다.
두 모델 다 고장 나지 않았습니다. 각 모델은 자신의 능력 밖에 있는 질문에 대해 가장 그럴듯하게 들리는 답을 내놓았을 뿐입니다. 대가는 확인하지 않은 사람에게 돌아갔습니다.
할루시네이션은 네 가지 실패 유형 중 하나이며, 해법은 각기 다르다
사람들은 모든 틀린 답에 이 단어를 쓰는데, 그러면 흔한 네 가지 실패에 각기 다른 네 가지 원인이 있다는 사실이 가려집니다.
| 실패 유형 | 무슨 일이 일어났나 | 알아내는 법 | 해법 |
|---|---|---|---|
| 할루시네이션 | 모델이 그럴듯한 문장을 완성하려고 사실을 지어냈다 | 구체적이고, 확인 가능하며, 출처가 없다 | 출처를 요구한 뒤 열어본다. 두 번째 모델에 물어본다 |
| 오래된 지식 | 훈련이 끝났을 때는 사실이었지만 지금은 아니다 | 가격, 버전, 재직자, 날짜가 있는 모든 것 | 웹 검색을 켜거나 최신 페이지를 붙여넣는다 |
| 검색 실패 | 검색이나 업로드된 파일이 엉뚱한 구절을 가져왔다 | 답이 당신 문서를 인용하지만 다른 질문을 다룬다 | 인용문뿐 아니라 인용된 구절을 직접 읽는다 |
| 오독 | 모델이 당신이 물은 것과 약간 다른 질문에 답했다 | 답은 다른 무언가에 대해서는 맞다 | 제약 조건을 명시해 질문을 다시 말한다 |
엄밀한 의미의 할루시네이션은 첫 번째 행뿐입니다. 두 번째와 세 번째 행은 근거 부여의 문제이며, 모델에게 읽을거리를 주는 것만으로 대부분 해결됩니다. 네 번째 행은 프롬프트 문제입니다. 이 네 가지를 하나의 신비한 결함으로 취급하면 잘못된 해법, 흔히 "더 큰 모델을 쓴다"에 이르게 되는데, 이는 첫 번째 행에 가장 도움이 안 됩니다.
두 모델 검증법과 그 비용
엄밀한 의미의 할루시네이션에 가장 믿을 만한 습관은 다른 두 번째 모델에게 같은 질문을 하고 비교하는 것입니다. 서로 다른 랩에서, 다른 데이터로, 다른 사후 훈련을 거친 두 모델이 같은 인용을 지어내는 일은 드뭅니다. 일치는 사실이라는 약한 증거입니다. 불일치는 행동하기 전에 확인해 보라는 강한 신호입니다.
"같은 모델에게 다시 확인시키기"가 통하지 않는 이유가 바로 이것으로 설명됩니다. 같은 모델의 두 번째 시도는 같은 압축에서 다시 추측하는 같은 예측기일 뿐입니다. 다른 모델은 다른 압축입니다.
두 번째 의견이 값비싼 모델에서 나올 필요는 없습니다. 2026-09-17에 확인한, 공개된 추론, 코딩, 지식 벤치마크의 종합 지표인 Artificial Analysis 인텔리전스 지수에서 DeepSeek V4 Flash는 40점을 받고 메시지당 Whizi 크레딧 1개가 들며, Claude Sonnet 5는 38점을 받고 10개가 듭니다. 점선은 프런티어, 즉 각 가격대의 최고 점수를 나타내며 그 위의 모든 점은 서로 다른 랩입니다. 1크레딧과 10크레딧짜리 두 랩으로 교차 확인하면 11크레딧이며, 나란히 보기를 쓰면 하나의 질문을 한 화면에서 두 모델에 동시에 보낼 수 있습니다. Mata v. Avianca의 변호사들은 하지 않은 그 확인 작업에 $5,000를 치렀습니다.
할루시네이션을 줄이는 방법, 효과 순으로
- 근거 부여. 웹 검색, 업로드된 문서, 붙여넣은 출처는 작업을 "기억해내기"에서 "읽고 요약하기"로 바꾸며, 모델은 이 일을 훨씬 더 안정적으로 해냅니다. 이것이 단연 가장 큰 효과이며, 프롬프트 요령이 아니라 제품 설정입니다.
- 두 번째 모델. 훈련이 다르면 실패 방식도 다릅니다. 지어낸 세부사항 대부분을 잡아냅니다.
- 출처를 요구하고 직접 열어보기. 인용을 요구받은 모델은 인용을 답니다. 확인할 것은 그 인용이 실제로 존재하고 답이 주장하는 내용을 담고 있는지입니다.
- 모른다고 말할 수 있는 권한. "확신이 없으면 그렇게 말하라"는 가장 가능성 높은 다음 내용이 무엇인지를 바꾸어, 어려운 질문에서 모델이 지어내는 대신 더 자주 답을 보류하게 만듭니다.
- 더 큰 모델. 프런티어 모델은 흔한 지식에서는 작은 모델보다 할루시네이션이 적지만, 그 차이는 정작 중요한 지점, 즉 드물고 구체적인 사실에서 가장 좁습니다.
순서가 핵심입니다. 대부분의 사람이 다섯 번째 항목을 가장 먼저 집어 드는데, 그것이 목록에서 가장 약한 지렛대입니다.
- 출처 없는 구체적이고 확인 가능한 주장은 미검증으로 취급하세요. 인용, 통계, 인용문, 제품 기능 모두 마찬가지입니다
- 답이 최근 정보, 비공개 정보, 정밀한 정보에 좌우될 때는 웹 검색을 켜거나 문서를 첨부하세요
- 숫자나 인용에 근거해 행동하기 전에 다른 랩의 두 번째 모델에 물어보세요. 답이 다르면 확인하라는 뜻입니다
- 인용된 출처를 열어 그것이 존재한다는 것뿐 아니라 답이 주장하는 내용을 실제로 담고 있는지 확인하세요
- 어려운 질문에는 프롬프트에 "확신이 없으면 그렇게 말해달라"를 추가하세요
자주 묻는 질문
AI 모델은 왜 할루시네이션을 일으키나요?
사실을 찾아보는 대신 가장 그럴듯한 다음 단어를 생성하기 때문이며, 훈련이 모른다는 인정보다 자신감 있는 추측을 보상하기 때문입니다. OpenAI의 2025년 9월 논문 "Why Language Models Hallucinate"는 벤치마크가 빈 답과 오답을 똑같이 채점한다는 것을 보여주며, 그래서 추측이 모델이 배우는 승리 전략이 됩니다.
AI 할루시네이션을 완전히 막을 수 있나요?
현재 모델로는 불가능합니다. 그럴듯한 텍스트를 생성하는 것이 정답과 지어낸 답을 모두 만드는 같은 메커니즘이기 때문입니다. 상당 부분은 줄일 수 있습니다. 검색 결과나 문서로 모델의 근거를 잡아주고, 두 번째 모델에 물어보고, 출처를 요구한 뒤 직접 열어보는 것이 큰 몫을 제거합니다. 남는 것은 드물고 구체적인 사실에 대한 잔여 위험입니다.
어떤 AI가 할루시네이션이 가장 적나요?
OpenAI, Anthropic, Google의 프런티어 모델은 흔한 지식에서는 작은 모델보다 할루시네이션이 적지만, 그 차이는 피해가 가장 큰 지점인 드물고 구체적인 사실에서 좁아집니다. 웹 검색을 켠, 근거가 있는 작은 모델이 근거 없는 프런티어 모델을 사실 관련 질문에서 앞서는 경우가 많으므로, 설정이 이름표보다 더 중요합니다.
할루시네이션은 실수와 같은 것인가요?
그중 한 종류입니다. 할루시네이션은 자신감 있게 제시된 지어낸 사실입니다. 오래된 지식(훈련 시점에는 참이었지만 지금은 아닌), 검색 실패(엉뚱한 구절을 가져온), 오독한 질문은 각기 다른 원인을 가진 다른 실패이며, "출처를 요구하라"에 반응하는 것은 첫 번째뿐입니다.
ChatGPT 변호사 사건에서는 무슨 일이 있었나요?
뉴욕에서 벌어진 Mata v. Avianca 사건에서 두 변호사가 ChatGPT가 지어낸 여섯 건의 판례를 인용한 준비서면을 제출했습니다. 법원은 2023년 6월 이들에게 $5,000의 제재금을 부과했습니다. 1년 뒤 Moffatt v. Air Canada에서는 심판원이 챗봇이 자기 발언에 책임을 진다는 항공사의 주장을 기각하고, 챗봇이 상조위 환불 정책을 지어낸 뒤 항공사에 C$812.02 지급을 명령했습니다.
