RAG가 실제로 하는 일
혼자 있는 언어 모델은 오픈북이 아닌 클로즈드북 시험과 같습니다. 모델이 말해줄 수 있는 모든 것은 학습이 끝난 시점에 고정되어 있어서, 당신의 계약서나 코드베이스, 어제자 뉴스를 물으면 거부하거나 자신감 있는 추측을 내놓을 뿐입니다. AI가 틀리는 이유에서 이 추측 문제를 자세히 다룹니다.
RAG는 클로즈드북 시험을 오픈북 시험으로 바꿉니다. 모델이 답을 쓰기 전에 시스템이 지식 소스, 예를 들어 업로드한 파일이나 회사 위키, 실시간 웹을 검색해 가장 관련성 높은 구절을 가져와 질문과 함께 프롬프트에 붙여 넣습니다. 그러면 모델은 기억에만 의존하지 않고 이렇게 가져온 텍스트를 바탕으로 답합니다.
이것이 핵심 아이디어의 전부입니다. 이름은 거창하게 들리지만 메커니즘은 그냥 '먼저 찾아본다'입니다. RAG 엔지니어링에서 나머지 모든 것은 이 검색 단계가 올바른 구절을 찾도록 만드는 일입니다.
모델에 검색 단계가 필요한 이유
두 가지 확고한 한계가 이 필요성을 만듭니다.
학습에는 마감일이 있습니다. 2026년 초까지 학습된 모델은 그 이후에 일어난 일은 아무것도 모르며, 프런티어 모델을 재학습시키는 일은 몇 달이 걸리고 막대한 비용이 드는 작업입니다. 검색은 아무도 재학습시키지 않고도 AI 제품이 오늘 아침 발표에 대해 답할 수 있게 해주는 방법입니다.
학습 데이터는 공개된 것이었습니다. 당신의 인보이스, 티켓, 내부 문서는 학습 데이터에 들어간 적이 없으며, 아무리 교묘한 프롬프트를 써도 모델이 한 번도 본 적 없는 정보를 되살릴 수는 없습니다. 검색은 범용 모델이 비공개 데이터를 바탕으로 답할 수 있는 유일한 방법입니다.
더 미묘한 세 번째 이유도 있습니다. 바로 근거 확보입니다. 답이 제공된 구절에서 나와야 할 때 모델은 출처를 밝힐 수 있고, 당신은 그것을 확인할 수 있습니다. 기억에서 나온 답은 대조할 것이 전혀 없는데, 이것이 바로 환각을 위험하게 만드는 실패 양상입니다.
RAG 파이프라인이 단계별로 작동하는 방식
PDF와 대화하는 기능부터 기업용 검색 제품까지, 모든 RAG 시스템은 같은 다섯 단계를 거칩니다.
- 청킹(Chunking). 원본 문서는 보통 각각 몇백 단어 정도의 구절로 나뉩니다. 검색은 문서 전체가 아니라 구절 단위로 작동하기 때문입니다.
- 인덱싱(Indexing). 각 청크는 임베딩, 즉 의미를 나타내는 숫자 목록으로 변환되어 벡터 데이터베이스에 저장되며, 비슷한 의미끼리 서로 가까이 놓이게 됩니다.
- 검색(Retrieval). 당신의 질문도 같은 방식으로 임베딩되고, 시스템은 그 임베딩과 가장 가까운 청크를 가져옵니다. 보통 상위 3개에서 10개 구절입니다.
- 증강(Augmentation). 이 구절들은 "아래 문맥에서만 답하라" 같은 지시문으로 감싸져 프롬프트에 삽입됩니다.
- 생성(Generation). 모델은 증강된 프롬프트를 바탕으로 답을 작성하며, 이상적으로는 어느 구절이 각 주장을 뒷받침했는지 함께 밝힙니다.
긴 문서를 채팅 도구에 업로드해 질문할 때 실행되는 것도 이와 비슷한 방식입니다. PDF와 대화하기 가이드에서 Whizi 안에서 이것이 실제로 어떻게 보이는지 확인할 수 있습니다.
RAG 대 롱 컨텍스트 대 파인 튜닝
이 세 가지는 모두 '모델에게 당신의 데이터를 가르친다'는 점에서 혼동되기 쉽습니다. 하지만 방식은 서로 호환되지 않습니다.
| 방식 | 작동 방식 | 최적 사용처 | 약점 |
|---|---|---|---|
| RAG | 먼저 검색하고 결과를 바탕으로 답함 | 크거나 계속 바뀌는 문서 집합, 출처 표시 | 답변 품질이 검색 품질에 좌우됨 |
| 롱 컨텍스트 | 모든 것을 프롬프트에 붙여넣음 | 문서 한 건을 깊이 파고들 때 | 비용과 주의력 한계 |
| 파인 튜닝 | 예시로 모델을 재학습시킴 | 스타일, 형식, 행동 | 사실에는 약하고 갱신 비용이 큼 |
이론보다 경제성이 더 많은 것을 결정합니다. Gemini나 GPT-5.6 계열 같은 프런티어 모델이 지금 제공하는 100만 토큰 컨텍스트 윈도우는 대략 1,500페이지를 담을 수 있어서, 실제로 매뉴얼 전체를 붙여넣을 수 있습니다. 하지만 GPT-5.6 Terra의 입력 토큰 100만 개당 $2라는 요금에서 매 질문마다 30만 토큰짜리 매뉴얼을 보내면 질문 한 번에 약 $0.60이 들고, 반면 알맞은 2,000토큰만 검색하면 0.5센트도 들지 않습니다. 질문을 세 번만 해도 롱 컨텍스트는 같은 답을 얻는 데 100배 더 비쌉니다. 컨텍스트 윈도우란 무엇인가에서 이 근본적인 한계를 설명합니다.
파인 튜닝은 셋 중 이질적인 존재입니다. 모델이 아는 것이 아니라 행동하는 방식을 바꿉니다. 팀들은 어조와 출력 형식에는 파인 튜닝을 쓰고, 사실 정보에는 여전히 RAG를 덧붙입니다.
이미 눈치채지 못한 채 RAG를 쓰고 있는 곳
챗봇의 웹 검색. ChatGPT, Gemini, Perplexity가 웹을 검색해 링크와 함께 답할 때, 그것이 바로 인터넷을 지식 소스로 쓰는 RAG입니다.
파일과 채팅하기. PDF를 업로드해 질문하면, 문맥에 편하게 들어가지 않을 만큼 긴 문서라면 청킹, 임베딩, 검색이 뒤에서 실행됩니다.
고객 지원 챗봇. 실제 헬프센터를 바탕으로 답하고 문서를 인용하는 챗봇은 RAG 시스템입니다. 즉석에서 지어내는 챗봇은 그렇지 않고, 그것이 드러납니다.
최신 사건에 답하는 AI 어시스턴트. 모델의 학습 마감일 이후 일어난 일에 대한 정확한 답은 기억이 아니라 검색을 통해 얻어진 것입니다.
RAG가 실패하는 지점과 그것을 알아차리는 법
RAG는 환각을 줄여주지만 없애지는 못하며, 자체적인 실패 양상도 추가합니다.
검색 실패. 검색 단계가 잘못된 구절을 가져오면 모델은 무관한 문맥을 바탕으로 유창하게 답합니다. 증상은 당신의 문서를 인용하지만 살짝 다른 질문에 답하는 답변입니다.
낡은 인덱스. 벡터 데이터베이스는 마지막으로 인덱싱된 시점의 문서만 알고 있습니다. 지난 분기 정책을 대상으로 한 RAG 시스템은 출처까지 붙인 채 자신감 있게 구식 답을 내놓는데, 이는 평범한 환각보다 더 그럴듯해서 더 나쁩니다.
충돌하는 출처. 검색된 구절들이 서로 어긋날 때 모델은 충돌을 알리기보다 그것들을 하나의 매끄럽지만 틀린 문단으로 뒤섞는 경향이 있습니다.
현실적인 방어책은 다른 모든 AI 답변과 같습니다. 인용의 존재만이 아니라 인용된 구절 자체를 확인하는 것입니다. 답이 주장하는 내용을 출처가 실제로 말하지 않는 RAG 답변은 실제 운영 시스템에서 가장 흔하게 나타나는 심각한 실패입니다.
- 질문이 당신의 데이터나 최신 사건에 관한 것이라면 RAG 방식 도구(업로드, 웹 검색)를 사용하세요
- 문서 한 건을 깊이 파고들 때는 롱 컨텍스트를, 크거나 계속 바뀌는 문서 집합에는 검색을 우선하세요
- 파인 튜닝이 사실을 더해줄 것이라 기대하지 마세요. 그것은 지식이 아니라 행동을 바꿉니다
- 인용된 구절을 항상 열어서 답이 주장하는 내용을 실제로 말하는지 확인하세요
- 출처 없이 자신감 있는 답은 기억에 기반한 추측으로 받아들이세요
자주 묻는 질문
AI에서 RAG는 무엇의 줄임말인가요?
RAG는 검색 증강 생성(retrieval augmented generation)의 줄임말입니다. 검색(retrieval)은 지식 소스에서 관련 구절을 찾는 것을, 증강(augmented)은 그 구절을 프롬프트에 더하는 것을, 생성(generation)은 모델이 그것을 바탕으로 답을 쓰는 것을 뜻합니다. 이 기법을 쓰면 모델이 한 번도 학습하지 않은 문서와 데이터로도 답할 수 있습니다.
RAG가 파인 튜닝보다 더 나은가요?
둘은 서로 다른 문제를 풉니다. RAG는 사실 정보에 더 낫습니다. 지식을 갱신하려면 재학습이 아니라 문서를 다시 인덱싱하면 되고, 답변에 출처를 달 수 있기 때문입니다. 파인 튜닝은 스타일, 어조, 출력 형식에 더 낫습니다. 실제 운영 시스템은 보통 둘 다 씁니다. 행동에는 파인 튜닝을, 지식에는 RAG를 씁니다.
큰 컨텍스트 윈도우가 있으면 RAG는 필요 없어지나요?
아니요, 기준점이 바뀔 뿐입니다. 100만 토큰 윈도우가 있으면 대략 1,500페이지를 그대로 붙여넣을 수 있고, 이는 단일 문서 작업에서는 실제로 RAG를 대체합니다. 하지만 매 질문마다 모든 것을 붙여넣으면 그때마다 입력 토큰 비용이 들어, 100만 토큰당 $2인 요율로 30만 토큰짜리 매뉴얼이면 질문당 약 $0.60이 드는 반면, 검색은 그 대신 수천 토큰만 보냅니다. 크거나 계속 바뀌거나 자주 조회되는 문서 집합이라면 검색이 여전히 경제적인 답입니다.
RAG를 쓰려면 뭔가를 직접 만들어야 하나요?
사용자로서는 아닙니다. 채팅 도구에 문서를 업로드하거나 웹 검색을 켜는 것만으로도 이미 뒤에서 검색이 실행됩니다. 벡터 데이터베이스로 직접 파이프라인을 구축하는 일은 비공개 문서 모음에서 자동으로 답해야 하는 소프트웨어를 개발할 때만 필요해집니다.
RAG는 AI 환각을 막아주나요?
검색된 텍스트에 답을 근거하게 함으로써 환각을 크게 줄여주지만, 자체적인 실패도 함께 들여옵니다. 잘못된 구절을 검색하거나, 낡은 인덱스를 바탕으로 답하거나, 충돌하는 출처를 뒤섞는 경우입니다. 확실한 습관은 인용된 구절이 실제로 그 주장을 뒷받침하는지 확인하는 것이며, 이는 RAG가 가능하게 해주지만 순수하게 기억에 기반한 답변은 해줄 수 없는 일입니다.
