RAG چیست؟ چگونه هوش مصنوعی دست از حدس زدن می‌کشد و منبع می‌دهد

RAG واقعاً چیست

یک مدل زبانی به تنهایی مثل امتحان کتاب‌بسته است. هر چیزی که می‌تواند بگوید، در زمان پایان آموزش ثابت شده و پرسیدن درباره قرارداد شما، کدبیس شما یا اخبار دیروز یا رد پاسخ یا حدسی مطمئن به شما می‌دهد. چرا هوش مصنوعی اشتباه می‌کند این مسئلهٔ حدس زدن را با جزئیات بررسی می‌کند.

RAG امتحان کتاب‌بسته را به امتحان کتاب‌باز تبدیل می‌کند. پیش از آن‌که مدل پاسخی بنویسد، سیستم یک منبع دانش را جست‌وجو می‌کند، مانند فایل‌های آپلود شدهٔ شما، یک ویکی شرکتی یا وب زنده، مرتبط‌ترین بخش‌ها را بازیابی می‌کند و آن‌ها را در کنار پرسش شما در prompt قرار می‌دهد. سپس مدل از آن متن بازیابی‌شده پاسخ می‌دهد، نه فقط از حافظهٔ خود.

این تمام ایده است. نام آن ترسناک است؛ اما مکانیسم آن همان «اول نگاه کن» است. بقیهٔ مهندسی RAG درباره این است که مرحلهٔ نگاه کردن، بخش‌های درست را پیدا کند.

چرا مدل‌ها اصلاً به مرحلهٔ بازیابی نیاز دارند

دو محدودیت سخت این نیاز را ایجاد می‌کنند.

آموزش تاریخ پایان دارد. مدلی که تا اوایل 2026 آموزش دیده، از هیچ چیزی که پس از آن رخ داده خبر ندارد و بازآموزی یک مدل پیشرو پروژه‌ای چند ماهه و بسیار پرهزینه است. بازیابی همان چیزی است که به یک محصول هوش مصنوعی اجازه می‌دهد بدون بازآموزی هیچ‌چیز، درباره اعلامیهٔ امروز صبح پاسخ دهد.

داده‌های آموزشی عمومی بودند. فاکتورها، تیکت‌ها و اسناد داخلی شما هرگز در آن نبودند و هیچ prompt هوشمندانه‌ای اطلاعاتی را که مدل هرگز ندیده بازیابی نمی‌کند. بازیابی تنها راهی است که یک مدل عمومی می‌تواند از داده‌های خصوصی پاسخ دهد.

دلیل سوم و ظریف‌تری هم هست: مبتنی‌سازی بر منبع. وقتی پاسخ باید از یک بخش ارائه‌شده بیاید، مدل می‌تواند منبع خود را ذکر کند و شما می‌توانید آن را بررسی کنید. پاسخی که از حافظه تولید شده، چیزی برای راستی‌آزمایی در برابر آن ندارد، که دقیقاً همان حالت شکستی است که توهم را خطرناک می‌کند.

یک خط‌لولهٔ RAG گام‌به‌گام چگونه کار می‌کند

هر سیستم RAG، از یک قابلیت چت با PDF تا یک محصول جست‌وجوی سازمانی، همان پنج گام را طی می‌کند.

1. تقسیم به بخش (Chunking). اسناد منبع به بخش‌هایی تقسیم می‌شوند، معمولاً چند صد کلمه هرکدام، چون بازیابی روی بخش‌ها کار می‌کند نه کل فایل‌ها.
2. نمایه‌سازی (Indexing). هر بخش به یک embedding، یعنی فهرستی از اعداد که معنای آن را نشان می‌دهند، تبدیل و در یک پایگاه‌دادهٔ برداری ذخیره می‌شود تا معناهای مشابه نزدیک به هم قرار گیرند.
3. بازیابی (Retrieval). پرسش شما هم به همان شکل embed می‌شود و سیستم بخش‌هایی را می‌کشد که embedding آن‌ها نزدیک‌ترین به آن است، معمولاً 3 تا 10 بخش برتر.
4. افزودن (Augmentation). آن بخش‌ها در prompt درج می‌شوند، همراه با دستوراتی مانند «فقط از متن زیر پاسخ بده».
5. تولید (Generation). مدل پاسخ را از prompt افزوده‌شده می‌نویسد، ترجیحاً با ذکر اینکه کدام بخش هر ادعا را تأیید کرده است.

وقتی سندی طولانی را در یک ابزار چت آپلود می‌کنید و درباره آن سؤال می‌پرسید، نسخه‌ای از همین فرایند اجرا می‌شود. راهنمای چت با PDF نشان می‌دهد این فرایند در Whizi عملاً چگونه دیده می‌شود.

RAG در برابر context window بلند در برابر fine tuning

این سه مفهوم چون همه‌شان «مدل را با داده‌های شما آشنا می‌کنند» با هم اشتباه گرفته می‌شوند. اما هر کدام به شیوه‌ای ناهمخوان با بقیه این کار را انجام می‌دهند.

اقتصاد این موضوع بیش از نظریه تصمیم می‌گیرد. یک پنجرهٔ زمینهٔ یک میلیون توکنی، که مدل‌های پیشرو مانند Gemini و خانوادهٔ GPT-5.6 اکنون ارائه می‌دهند، تقریباً 1,500 صفحه جا می‌دهد، پس واقعاً می‌توانید یک راهنمای کامل را چسبانید. اما با نرخ GPT-5.6 Terra که $2 برای هر یک میلیون توکن ورودی است، فرستادن 300,000 توکن راهنما با هر پرسش حدود $0.60 برای هر پرسش هزینه دارد، در حالی که بازیابی 2,000 توکن درست کمتر از نیم سنت هزینه دارد. سه پرسش بپرسید و context window بلند برای همان پاسخ‌ها 100 برابر پرهزینه‌تر خواهد بود. پنجرهٔ زمینه چیست این محدودیت زیربنایی را توضیح می‌دهد.

Fine tuning استثناست: این روش نحوهٔ رفتار مدل را تغییر می‌دهد، نه آنچه می‌داند. تیم‌ها آن را برای لحن و قالب خروجی به کار می‌برند و باز هم برای واقعیات، RAG را روی آن سوار می‌کنند.

جایی که همین حالا از RAG استفاده می‌کنید بدون آن‌که متوجه شوید

جست‌وجوی وب در چت‌بات‌ها. وقتی ChatGPT، Gemini یا Perplexity وب را جست‌وجو می‌کند و با لینک‌ها پاسخ می‌دهد، این همان RAG با اینترنت به‌عنوان منبع دانش است.

چت با فایل‌های شما. یک PDF آپلود کنید و سؤال بپرسید: تقسیم به بخش، embedding و بازیابی پشت پرده برای هر سندی که به‌راحتی در context جا نمی‌شود اجرا می‌شوند.

بات‌های پشتیبانی مشتری. آن‌هایی که از یک مرکز راهنمای واقعی پاسخ می‌دهند و مقاله را ذکر می‌کنند، سیستم‌های RAG هستند. آن‌هایی که سرهم‌بندی می‌کنند این‌طور نیستند و کاملاً معلوم است.

دستیارهای هوش مصنوعی که درباره اخبار جاری پاسخ می‌دهند. هر پاسخ درست درباره چیزی پس از تاریخ قطع آموزش مدل، از راه بازیابی رسیده، نه حافظه.

کجا RAG شکست می‌خورد و چگونه آن را تشخیص دهیم

RAG توهم را کاهش می‌دهد؛ آن را از بین نمی‌برد و شکست‌های خاص خودش را هم اضافه می‌کند.

خطای بازیابی. اگر مرحلهٔ جست‌وجو بخش‌های اشتباه را بکشد، مدل با روانی از زمینهٔ نامرتبط پاسخ می‌دهد. علامت: پاسخی که به سند شما ارجاع می‌دهد اما به پرسشی کمی متفاوت می‌پردازد.

نمایه‌های قدیمی. پایگاه‌دادهٔ برداری فقط اسناد را در آخرین نمایه‌سازی می‌شناسد. یک سیستم RAG روی خط‌مشی‌های سه‌ماههٔ گذشته پاسخ‌هایی قدیمی اما با اطمینان و همراه با منبع می‌دهد، که از یک توهم ساده هم قانع‌کننده‌تر و در نتیجه بدتر است.

منابع متضاد. وقتی بخش‌های بازیابی‌شده با هم تناقض دارند، مدل‌ها معمولاً آن‌ها را در یک پاراگراف روان اما اشتباه با هم ترکیب می‌کنند به‌جای این‌که تناقض را نشان دهند.

دفاع عملی همان است که برای هر پاسخ هوش مصنوعی: بخش ذکرشده را بررسی کنید، نه فقط وجود منبع را. پاسخ RAG که منبع آن واقعاً آنچه پاسخ ادعا می‌کند را نمی‌گوید، شایع‌ترین شکست جدی در سیستم‌های تولیدی است.