AI 답변 검증, 2분이면 끝: 프롬프트 포함

AI 정보는 어떻게 팩트체크하나요? 주장을 나열한 뒤 네 가지 검증을 거치세요

AI 답변을 팩트체크하려면 확인 가능한 주장을 뽑아내고, 각 주장에 네 가지 검증을 적용합니다. 두 번째 모델, 출처 열기, 반대 논증, 숫자마다 한 번의 검색입니다. 틀린 답변은 예측 가능한 곳에서 무너집니다. 모델이 지어낸 구체적 사항, 존재하지 않거나 그런 말이 없는 출처, 당신이 물었기 때문에 동의해 버린 사례, 학습이 끝났을 때는 맞았던 숫자 같은 곳입니다. 그래서 그 부분만 확인하고 나머지는 넘어가면 됩니다. 먼저 모델에게 주장을 나열하게 하세요.

위 답변에 들어 있는 사실 주장을 모두 번호 목록으로, 한 문장씩 나열해 줘. 숫자, 이름, 날짜, 인용문, 출처, "연구에 따르면"도 각각 하나의 주장으로 세어 줘. 새로운 정보는 추가하지 마.

이 시간은 습관이 유지되도록 우리가 정한 배분일 뿐이고, 실제로 측정한 값은 아닙니다. 어떤 답변에 네 가지를 모두 적용하고 어떤 답변에 하나만 적용할지는 마지막 섹션에서 다룹니다.

모든 연구소의 최상위 모델이 최고 점수 모델보다 더 많이 지어내므로 어떤 모델도 검증을 건너뛸 수 없습니다

검증을 건너뛰어도 될 만큼 정확한 AI 모델은 없고, 연구소의 최상위 모델에 돈을 낸다고 위험이 줄지도 않습니다. 2026년 9월 22일에 마지막으로 갱신된 Vectara 환각 리더보드에서, 6개 연구소가 올린 가장 강력한 모델은 모두 그 연구소의 최고 점수 모델보다 근거 없는 주장을 더 자주 덧붙였습니다.

Vectara는 각 모델에 짧은 문서를 주고, 요약에 문서가 뒷받침하지 않는 주장이 얼마나 자주 들어가는지 셉니다. 사실이 프롬프트 안에 있으니 모델이 맡는 사실 과제 중 가장 쉬운 일입니다. 그러니 이 수치는 기억에 의존해 답하는 질문의 하한선으로 읽어야 합니다. 차트의 기준은 이렇습니다. 연구소마다 보드에서 가장 낮은 비율과 보드에서 가장 강력한 모델을 비교했습니다(Gemini 3.1 Pro는 프리뷰로 표시되어 있습니다). 6개 연구소를 평균하면 최상위 모델은 100건 중 11.0건, 최고 점수 모델은 5.2건으로 약 두 배 차이입니다. 다른 수치도 같은 방향입니다. 2026년 9월 22일에 출시된 GPT-6 Sol은 6.5로, GPT-5.4 nano의 3.1보다 여전히 두 배 높고, Grok 4.1 Fast는 추론을 켜면 19.2로 올라갑니다. 보드 전체에서 가장 낮은 비율은 Ant Group의 Finix S1 32B가 기록한 1.8입니다. 0인 모델은 없습니다.

1단계: 다른 연구소의 두 번째 모델은 두 답이 엇갈리는 곳에서 지어낸 세부 사항을 드러냅니다

두 번째 모델은 첫 번째 모델이 지어낸 세부 사항을 잡아냅니다. 서로 다른 연구소가 학습시킨 두 시스템이 같은 숫자, 이름, 날짜, 출처를 지어내는 일은 드물기 때문입니다. 같은 질문을 한 글자도 바꾸지 말고 다른 회사의 모델에 붙여 넣은 다음, 두 답변을 맞대어 보며 서로 다른 세부 사항을 읽으세요. 일치는 증명하는 바가 적습니다. 불일치는 어느 문장을 확인해야 하는지 정확히 알려 줍니다. 답변이 길다면 한 모델에게 비교를 시키세요.

같은 질문에 대한 두 개의 답변이야. 두 답변이 엇갈리는 구체적인 주장을 모두 나열해 줘. 숫자, 이름, 날짜, 출처, 예와 아니오가 해당돼. 표현, 길이, 어조의 차이는 무시해. 모두 일치하면 한 줄로 그렇다고 말해 줘.

탭 두 개에 무료 요금제 두 개면 이 일은 충분합니다. 여러 AI 모델에 동시에 묻기에서는 하나의 프롬프트를 여러 모델에 보내는 도구들을 비교하며, Whizi의 나란히 보기도 그중 하나입니다. 일치가 실패하는 경우는 하나로 알려져 있습니다. 두 모델 모두 같은 공개 인터넷에서 배웠기 때문에, 온라인 어디서나 틀린 주장은 두 모델 모두에서 틀린 채로 돌아옵니다. 그런 경우를 위한 것이 4단계입니다.

2단계: AI 인용이 가짜인지 10초 만에 알아내는 법

가짜 AI 인용은 모델에게 묻지 않는 10초 테스트로 걸러집니다. DOI를 doi.org에 붙여 넣으면 진짜는 출판사로 이동하고, 지어낸 것은 404가 나옵니다. 저는 2026년 9월 26일에 직접 해 봤습니다. 아래에서 인용한 Walters와 Wilder의 논문, DOI 10.1038/s41598-023-41032-5는 nature.com으로 302 리디렉션되었고, 같은 접두사에 지어낸 접미사를 붙인 10.1038/s41598-023-99999-9는 404가 나왔습니다. DOI가 없으면 제목을 따옴표로 묶어 Google Scholar에 붙여 넣으세요. 진짜 논문이라면 같은 저자와 함께 나타납니다.

주장 자체에 대해서는 출처 하나를 요청해서 열어 보세요.

그 주장의 정확한 출처를 알려 줘. 제목, 저자 또는 발행처, 연도, 링크를 포함해서. 구체적인 출처가 없으면 그럴듯한 출처를 만들어 내지 말고 없다고 말해 줘.

마지막 문장 덕분에 "그런 출처는 없습니다"라는 답이 나올 가능성이 생깁니다. 그렇지 않으면 거의 나오지 않는 답입니다. 답변이 웹 검색에서 나왔다면 인용은 이미 붙어 있고 그걸 클릭해야 합니다. 열어서 페이지에서 그 숫자를 찾으세요. 오래된 블로그 글이 업체 페이지처럼 상위에 노출되기 때문입니다. 그런 다음 지어낸 참고문헌이 피할 수 없는 불일치를 찾으세요. 어울리지 않는 학술지와 연도, 연도에 맞지 않는 권호, 함께 논문을 쓴 적 없는 실존 저자 두 명, 다른 사건에 속하는 사건 번호 같은 것들입니다.

규모는 측정되어 있습니다. Walters와 Wilder는 2023년 9월 7일 Scientific Reports에서 ChatGPT가 쓴 문헌 리뷰의 인용 636건을 확인했고, GPT-3.5 인용의 55퍼센트와 GPT-4 인용의 18퍼센트가 존재하지 않았습니다. Damien Charlotin의 데이터베이스에는 2026년 9월 25일 기준 환각 자료가 연루된 법원 판결 2,079건이 올라 있고, 그중 827건은 변호사가 제출한 것입니다. 최초의 유명 사례인 Mata v. Avianca에서 뉴욕 연방법원은 2023년 6월 22일 변호사 두 명과 그 로펌에 $5,000의 제재금을 부과했고, 판결문에는 변호사가 지어낸 사건 하나에 대해 묻자 ChatGPT가 그 사건이 "실제로 존재한다"고 답했다는 진술이 인용되어 있습니다. 모델에게 자신의 인용을 확인해 달라고 하는 것은 절대 통하지 않는 유일한 검증입니다. 왜 그 확인이 날조만큼 유창하게 나오는지는 AI 환각이란 무엇인가에서 설명합니다.

3단계: AI가 스스로 팩트체크할 수 있을까요? 반대 논증을 시킬 때만 가능합니다

AI는 맡은 일을 바꿔 줄 때만 스스로를 검증할 수 있습니다. "확실해?"라고 물으면 대체로 동의가 돌아옵니다. 동의는 도움이 되는 응답의 형태에 어울리기 때문입니다. 반대로 논증하라는 지시는 답변에 반대하는 논거를 다음에 나올 가장 그럴듯한 글로 만듭니다. 프롬프트는 이렇습니다.

이제 반대 입장에서 논증해 줘. 위 답변이 틀렸다는 가장 강력한 논거를, 그것이 기대는 구체적인 주장과 함께 제시해 줘. 그다음 원래 답변에서 가장 자신 없는 주장 하나를 짚어 줘.

두 가지가 돌아옵니다. 반론은 그 질문에 정말로 다른 면이 있었는지 알려 주고, 모델이 가장 약하다고 짚은 주장은 곧바로 4단계로 갑니다. 모델은 어조에서 자신의 확신도를 읽어 낼 수 없지만(AI가 틀리는 이유에서 그 원리를 다룹니다), 반대 논거는 만들어 낼 수 있고 틀린 세부 사항은 대개 거기서 드러납니다.

스스로 검증을 시도하는 사람 대부분은 약한 방식으로 합니다. 2026년 9월 23일에 발표된 미국과 영국 AI 사용자 1,500명 대상의 F-Secure 설문에서 35.3퍼센트가 AI로 AI를 팩트체크한 적이 있었고, 47.3퍼센트는 답변이 그럴듯하게 들리면 더 이상 의심하지 않는다고 답했습니다. 같은 대화창에서 같은 모델에게 스스로에게 동의하느냐고 물으면 대체로 동의가 돌아옵니다. 확인할 거리를 주는 것은 반대 프롬프트와 다른 연구소의 모델이라는 두 가지 방식입니다.

4단계: 가로 읽기로 날짜, 가격, 통계마다 검색 한 번씩 하세요

가로 읽기란 AI 답변을 떠나 새 탭에서 각 주장을 그 사실을 소유한 출처와 대조하는 것으로, 메릴랜드 대학교와 텍사스 A&M 코퍼스 크리스티 대학교 도서관 안내서가 AI 결과물에 대해 가르치는 방법입니다. 이 용어는 경험 많은 인터넷 사용자 45명을 다룬 Sam Wineburg와 Sarah McGrew의 연구(Teachers College Record, 2019)에서 나왔습니다. 박사급 역사학자 10명, 스탠퍼드 학부생 25명과 같은 웹사이트를 받았을 때, 전문 팩트체커 10명은 "사이트를 잠깐 훑고 떠나며 가로로 읽었고" 훨씬 짧은 시간에 더 근거가 탄탄한 결론에 도달했습니다.

AI 답변에서는 이 동작이 기계적입니다. 숫자를 명사와 함께 따옴표로 묶어 검색 엔진에 붙여 넣고, 그 숫자를 소유한 출처를 여세요. 가격은 업체 페이지, 법은 정부 사이트, 연구 결과는 원 논문이고, 그것들을 다룬 요약 기사는 아닙니다. 가격은 학습이 끝난 뒤에 바뀌고, 날짜는 뒤바뀌고, 통계는 엉뚱한 분모로 기억됩니다. 마지막 경우가 얼마나 쉽게 생기는지는 로이터 저널리즘 연구소의 Digital News Report 2026이 보여 줍니다. 뉴스를 위해 AI 챗봇을 쓰는 사람 중 출처를 항상 또는 자주 클릭해서 확인한다는 사람은 42퍼센트이고, 검색은 44퍼센트, 소셜 미디어는 36퍼센트입니다. 그 42퍼센트는 챗봇으로 뉴스를 보는 사람 중의 비율이지 모든 사람의 비율이 아니며, 단서를 빼 버린 답변은 맞는 숫자를 틀린 주장으로 바꿉니다.

뉴스와 바이럴 주장은 Snopes, PolitiFact, FactCheck.org가 이미 가로 읽기를 해 둔 경우가 많습니다. 전문적인 기술, 법률, 의료 주장은 그 사실을 소유한 출처가 전문가이고, AI 답변은 그 전문가에게 가져갈 질문 목록이 됩니다.

어떤 AI 답변에 네 가지 검증을 모두 적용해야 할까요? 보내고, 서명하고, 제출하고, 돈을 낼 모든 것입니다

보내거나, 서명하거나, 제출하거나, 게시하거나, 돈을 낼 모든 것에는 네 가지 검증을 모두 하세요. 단지 맞기를 바라는 정도라면 1단계만 하고, 보기에 문제없는 초안이면 건너뛰세요. 이 규칙이 메우는 틈은 측정되어 있습니다. 같은 F-Secure 설문에서 AI 사용자의 거의 90퍼센트가 답변 확인은 자기 책임이라고 말했지만, 70퍼센트는 가끔, 드물게 또는 전혀 확인하지 않으며, 25.2퍼센트는 인생의 중요한 결정에서 AI의 조언을 따른 적이 있었습니다. 모든 것에 적용하는 습관은 일주일이면 끝납니다. 걸린 이해관계에 맞춘 규칙은 오래갑니다. 이 규칙 아래에서는 숫자, 이름, 날짜, 링크가 들어 있는 답변은 네 가지 검증 중 하나가 그 문장을 거치기 전까지는 초안입니다.