AI 환각 현상은 왜 생길까, 그리고 손해 보기 전에 잡아내는 법

전문 용어 없이 보는 작동 원리

AI 챗봇에게 질문을 던지면, 챗봇은 무언가를 찾아보고 있는 것이 아닙니다. 그 질문에 대한 올바른 답이 보통 어떤 식으로 쓰이는지, 그 패턴에 맞는 텍스트를 몇 글자씩 만들어내고 있을 뿐입니다. 그것이 하는 일의 전부입니다. 패턴에 맞는 것과 사실인 것은 서로 다른 목표이고, 이 과정에서 두 번째 목표를 겨냥하는 부분은 어디에도 없습니다.

대부분의 경우 우리는 이 차이를 눈치채지 못합니다. 두 목표가 겹치기 때문입니다. 이 시스템들이 학습한 텍스트는 대체로 옳은 말을 하는 사람들이 쓴 것이라서, 답변처럼 생긴 텍스트는 대개 옳은 텍스트이기도 합니다. 문제는 가장자리로 갈수록 그 겹침이 얇아진다는 점입니다. 드물거나, 최근이거나, 아주 구체적이거나, 모델이 읽은 자료에 아예 없었던 사실들이죠. 그런 가장자리에서도 올바른 답의 형태를 만드는 일은 여전히 쉽습니다. 그 내용을 만들어내는 일은 그렇지 않습니다. 그래서 나오는 것이 사실처럼 조립된 문장입니다. 숫자가 들어갈 자리에 숫자가 있고 그럴듯한 이름까지 붙어 있지만, 한 번도 일어난 적 없는 일을 설명하고 있습니다.

이 점은 누구나 떠올리는 후속 질문이 왜 통하지 않는지도 설명해 줍니다. "확실해?"라고 묻는 건 검증처럼 느껴집니다. 하지만 검증이 아닙니다. 동의하는 말은 도움이 되는 답변의 패턴에 잘 맞기 때문에, 압박을 주면 오히려 동의가 돌아옵니다. 모델이 사과하면서 맞았던 답을 더 나쁜 답으로 바꿔 놓는 일도 흔합니다. 2분이면 직접 확인할 수 있습니다. 이미 답을 아는 것을 물어보고, 맞는 답을 받아들인 다음, "그건 아닌 것 같은데"라고 말해 보세요. 돌아오는 것은 두 번째 의견이 아니라, 상냥한 텍스트를 만들어내는 똑같은 장치입니다. 이 모든 것이 애초에 어떻게 만들어지는지 가장 밑바닥부터 알고 싶다면 AI란 무엇인가에서 수학 없이 다룹니다.

가장 자주 틀리는 다섯 군데

오류는 우리가 물어볼 수 있는 모든 것에 고르게 퍼져 있지 않습니다. 몇 군데에 몰려 있습니다. 이 다섯 군데를 익혀 두면 필요한 순간에 울리는 작은 내부 경보가 생깁니다. 늘 울리다가 결국 아무 때도 울리지 않게 되는 막연한 경계심보다 훨씬 쓸모 있습니다.

틀리는 지점	어떻게 나타나는가	한 줄 예시
구체적인 사실과 숫자	근거 없는 정확한 수치	1994년에 문을 연 가게를 1987년이라고 말합니다
인용, 출처, 링크	진짜 같은 제목과 URL, 그런데 열리지 않음	실존 연구자 두 명이 실존 학술지에 썼다는, 존재한 적 없는 논문
학습 시점 이후의 모든 것	몇 달 전에 멈춘 세계에 대한 자신만만한 답	3월에 바뀐 요금제를 두고 작년 구독료를 말합니다
계산과 개수 세기	방법은 맞고 합계는 틀림	청구서 열한 줄을 더하면서 40달러가 어긋납니다
답을 품고 있는 질문	분석으로 포장된 동의	"왜 X가 더 나은가"라고 물으면 X를 옹호하는 근거만 돌아옵니다

마지막 줄은 우리가 스스로 만들어내는 오류이고, 실제 사용에서 가장 흔합니다. "왜 X가 Y보다 나은가"라고 물으면 거의 확실히 X를 옹호하는 근거가 돌아오고, "당연히"나 "맞지 않나요" 같은 표현이 들어간 질문에는 보통 그렇다는 답이 돌아옵니다. 대신 이렇게 물어보세요. "이 상황에서 X와 Y를 비교해 줘. 그다음 네가 고른 쪽을 반박하는 가장 강력한 논거를 알려줘." 질문에 답을 몰래 끼워 넣지 않도록 다듬는 것이 사람들이 프롬프트 작성이라 부르는 것의 절반이고, 나머지 절반은 AI와 대화하는 법에서 다룹니다. 일찍 알아두면 좋은 특성이 하나 더 있습니다. 아주 긴 대화가 이어지거나 아주 긴 문서를 붙여넣은 뒤에는, 처음에 나왔던 세부 내용이 모델의 시야에서 빠져나갈 수 있습니다. 그리고 모델은 흐름을 놓쳤다고 말하는 대신 그 빈자리를 채워 넣습니다. 이건 진실성의 문제라기보다 용량의 한계이고, 그 한계선이 어디쯤인지는 컨텍스트 윈도우란 무엇인가에서 설명합니다.

자신만만한 말투는 허세가 아닙니다

대부분의 사람은 그럴듯한 가정을 품고 여기까지 옵니다. 모델은 자기가 얼마나 확신하는지 알면서도 유능해 보이려고 그 의심을 숨긴다는 가정이죠. 이 가정은 틀렸고, 틀렸다는 사실이 중요합니다. 애초에 존재한 적 없는 확신 신호를 찾아 헤매게 만들기 때문입니다.

당신에게 숨기고 있는 확신 게이지 같은 건 없습니다. 시스템이 속으로 62퍼센트라는 숫자를 쥔 채 100퍼센트인 척 말하는 것이 아닙니다. 틀린 답도 맞는 답과 똑같은 과정을 거쳐, 똑같이 유창하게 만들어집니다. 바로 그래서 여기서는 말투가 신호로서 아무런 가치가 없습니다. 사람을 대할 때와는 다른 지점이죠. "완전히 확신하지는 못하지만" 같은 조심스러운 표현 역시 생성된 텍스트입니다. 그런 형태의 질문에 그런 표현이 잘 어울리기 때문에 나오는 것이지, 내부에서 무언가 경고가 울려서 나오는 것이 아닙니다. 모델에게 스스로의 확신을 10점 만점으로 매겨 보라고 하면 숫자를 줍니다. 자주 높은 숫자를요. 그리고 그 숫자는 방금 지어낸 출처 바로 옆에 나란히 놓여 있습니다. 그 점수는 그 출처와 똑같은 과정으로 만들어졌습니다.

그래서 "확실할 때만 답해"나 "지어내지 마" 같은 지시는 기대만큼 도움이 되지 않습니다. 중요한 질문에 "모르면 모른다고 말해"를 덧붙이는 것은 여전히 해볼 만합니다. 요즘 모델은 예전보다 더 잘 물러서니까요. 다만 보장이 아니라 살짝 밀어주는 정도로 여기세요. 이 발상의 믿을 만한 버전은 바깥을 향합니다. 답변이 당신이 직접 열어볼 수 있는 무언가를 내놓게 만드는 것입니다. 앱이 웹을 검색해 링크를 붙여주면 그 페이지를 직접 읽을 수 있고, 더 이상 모델의 말을 그대로 믿지 않아도 됩니다. 기억만으로 답한다면 남는 건 모델의 말뿐입니다.

비용이 적은 순서대로, 확인 방법 네 가지

모든 것을 검증할 수는 없고, 그러려고 들면 결국 아무것도 검증하지 않게 됩니다. 필요한 것은 실수가 만들 손해보다 값싼 확인입니다. 아래 네 가지는 거의 공짜인 것부터 조금 귀찮은 것까지 순서대로이고, 대부분의 질문은 가장 먼저 손이 가는 하나로 충분합니다.

1. 출처를 요청하고, 직접 열어보세요. 의식처럼 "출처를 밝혀줘"라고 말하고 끝내면 안 됩니다. 눌러보세요. 죽은 링크이거나, 열리긴 하는데 그 주장이 없는 페이지라면 10초 만에 판가름 납니다.
2. 새 대화에서 다시 물어보세요. 같은 질문, 새 대화, 앞선 대화 내용은 하나도 없이요. 숫자나 이름, 날짜가 다르게 돌아온다면 모델은 무언가를 떠올린 것이 아니라 빈칸을 채우고 있었던 겁니다. 비용은 0원이고, 지어낸 세부 정보를 꽤 많이 잡아냅니다.
3. 다른 모델에게 물어보세요. 사실을 다투는 질문에서 가장 값어치가 큰 방법입니다. 같은 질문을 다른 제공사에 붙여넣고, 말투가 아니라 구체적인 내용을 비교하세요.
4. 평범하게 검색해 보세요. 보내거나, 서명하거나, 게시하거나, 돈을 쓸 일이라면 검색 엔진에 90초를 투자하세요. AI는 훌륭한 1차 조사입니다. 1차 조사는 검증이 아닙니다.

세 번째가 자기 자리를 값하는 이유가 있습니다. 서로 다른 회사가, 서로 다른 데이터로, 서로 다른 방식으로 만든 두 모델이 같은 질문에서 나란히 틀릴 수는 있습니다. 하지만 똑같은 거짓 세부 정보를 지어내는 일은 아주 드뭅니다. 지어낸 구체적 내용은 그 시스템 하나에만 있는 특정한 빈틈에서 나오기 때문입니다. Claude와 ChatGPT가 각자 같은 수치를 건네준다면 그 수치는 아마 진짜입니다. 둘이 어긋난다면, 확인할 가치가 있는 정확히 그 한 문장을 찾아낸 것입니다. 답변 어딘가가 이상하다는 막연한 느낌보다 훨씬 낫습니다. 가끔 확인하는 정도라면 두 제공사의 무료 요금제로 충분하고 돈이 들지 않습니다. 다만 교차 확인이 습관이 되는 순간 공짜가 아니게 됩니다. 유료 접근은 제공사당 월 20달러 정도이고, Whizi 같은 멀티 모델 구독이 메우는 것이 바로 그 간극입니다. 여러 AI 모델을 함께 쓰는 법에서 그 작업 흐름을 하나씩 짚어 봅니다.

중요한 곳과, 정말 중요하지 않은 곳

모든 것에 적용되는 검증 습관은 일주일이면 무너집니다. 우리가 묻는 대부분은 위험이 낮고 스스로 확인됩니다. 내가 쓴 이메일을 짧게 줄여 달라고 하면 실제로 짧아졌는지, 하려던 말이 그대로 남았는지 눈으로 보입니다. 아이디어 떠올리기, 이름 짓기, 개요 잡기, 초안 쓰기, 보내기 전에 내가 읽어볼 메시지 번역하기, 어질러진 메모를 목록으로 정리하기도 마찬가지입니다. 확인 장치는 당신 자신이고, 실수는 눈앞에서 바로 드러납니다.

어떤 일이 어느 쪽에 속하는지는 질문 두 개면 갈립니다. 스스로에게 묻는 데 3초쯤 걸립니다.

1. 이게 틀리면 누가, 언제 알게 되나요? 지금 읽고 있는 내가 10초 뒤에 알게 되나요, 아니면 고객이 석 달 뒤에 알게 되나요?
2. 되돌릴 수 있나요? 잘못 쓴 문단을 지우는 건 공짜입니다. 세금 신고를 다시 하거나, 이미 보낸 견적을 무르거나, 결제를 취소하는 건 그렇지 않습니다.

둘 중 하나라도 잠시 멈칫하게 만든다면, 행동에 옮기기 전에 모든 구체적 주장을 확인하세요. 여기에 확실히 들어가는 것들이 있습니다. 약 이름과 복용량, 법률 및 신고 기한, 세금 수치, 계약 조건, 누군가의 건강이나 체류 자격이 걸린 모든 것, 그리고 돈을 움직이거나 개인정보를 다루는 코드입니다. 이메일에 어울리지 않는 단어 하나가 들어가면 하루쯤 조금 이상해 보이고 끝납니다. 잘못된 복용량이나 놓친 기한은 AI가 나중에 수습해 주지 않습니다. AI 안전한가에서 절대 붙여넣지 말아야 할 것들을 포함해 그 측면을 더 깊이 다룹니다. 습관 하나로 시작하세요. 답변에 숫자, 이름, 날짜, 링크가 등장하는 순간 그 부분만큼은 검증되지 않은 것으로 여기고 확인하는 것입니다. 나머지는 대체로 괜찮습니다.