RAG क्या है? AI कैसे अंदाज़ा लगाना छोड़कर स्रोत का हवाला देना शुरू करता है

RAG असल में क्या है

अकेला language model एक क्लोज्ड बुक परीक्षा जैसा है। यह जो कुछ भी बता सकता है वह ट्रेनिंग खत्म होने पर तय हो गया था, और आपके कॉन्ट्रैक्ट, आपके कोडबेस या कल की खबर के बारे में पूछने पर आपको इनकार या भरोसे से भरा अंदाज़ा मिलता है। AI गलतियां क्यों करता है इस अंदाज़ा लगाने वाली समस्या को गहराई से समझाता है।

RAG इस क्लोज्ड बुक परीक्षा को ओपन बुक परीक्षा में बदल देता है। मॉडल जवाब लिखने से पहले, सिस्टम किसी नॉलेज सोर्स को खोजता है, जैसे आपकी अपलोड की गई फाइलें, कंपनी की विकी या लाइव वेब, फिर सबसे संबंधित हिस्सों को निकालकर आपके सवाल के साथ प्रॉम्प्ट में जोड़ देता है। इसके बाद मॉडल सिर्फ याददाश्त के बजाय इस निकाले गए टेक्स्ट के आधार पर जवाब देता है।

यही पूरा आइडिया है। नाम सुनने में जटिल लगता है, लेकिन तरीका बस यह है: "पहले खोजो"। RAG इंजीनियरिंग में बाकी सब कुछ इस खोज वाले स्टेप को सही हिस्से ढूंढने लायक बनाने के बारे में है।

मॉडलों को रिट्रीवल स्टेप की ज़रूरत क्यों पड़ती है

दो बड़ी सीमाएं इसकी ज़रूरत बनाती हैं।

ट्रेनिंग की एक आखिरी तारीख होती है। 2026 की शुरुआत तक ट्रेन किया गया मॉडल इसके बाद हुई किसी भी घटना के बारे में कुछ नहीं जानता, और किसी फ्रंटियर मॉडल को फिर से ट्रेन करना महीनों लंबा और बेहद खर्चीला काम है। रिट्रीवल की मदद से ही कोई AI प्रोडक्ट बिना किसी को फिर से ट्रेन किए आज सुबह की घोषणा के बारे में जवाब दे पाता है।

ट्रेनिंग डेटा सार्वजनिक था। आपके इनवॉइस, टिकट और इंटरनल डॉक्यूमेंट्स इसमें कभी शामिल नहीं थे, और कोई भी चतुराई से लिखा प्रॉम्प्ट वह जानकारी वापस नहीं ला सकता जो मॉडल ने कभी देखी ही नहीं। प्राइवेट डेटा से जवाब देने का इकलौता तरीका रिट्रीवल ही है।

इसकी एक तीसरी, ज़्यादा सूक्ष्म वजह भी है: ग्राउंडिंग। जब जवाब किसी दिए गए हिस्से से ही आना ज़रूरी हो, तो मॉडल अपना स्रोत बता सकता है, और आप उसे जांच सकते हैं। सिर्फ याददाश्त से बना जवाब जांचने के लिए कुछ नहीं देता, और यही वह गलती है जो हैलुसिनेशन को खतरनाक बनाती है।

RAG पाइपलाइन चरण दर चरण कैसे काम करती है

हर RAG सिस्टम, चाहे वह चैट-विद-PDF फीचर हो या एंटरप्राइज़ सर्च प्रोडक्ट, यही पांच स्टेप चलाता है।

1. चंकिंग। सोर्स डॉक्यूमेंट्स को हिस्सों में बांटा जाता है, आमतौर पर हर हिस्से में कुछ सौ शब्द होते हैं, क्योंकि रिट्रीवल पूरी फाइलों के बजाय हिस्सों पर काम करता है।
2. इंडेक्सिंग। हर हिस्से को एक एंबेडिंग में बदला जाता है, यानी उसके मतलब को दर्शाने वाली संख्याओं की सूची, और इसे एक वेक्टर डेटाबेस में रखा जाता है ताकि एक जैसे मतलब पास-पास रहें।
3. रिट्रीवल। आपके सवाल को भी उसी तरह एंबेड किया जाता है, और सिस्टम उन हिस्सों को निकालता है जिनकी एंबेडिंग सबसे करीब होती है, आमतौर पर टॉप 3 से 10 हिस्से।
4. ऑगमेंटेशन। उन हिस्सों को प्रॉम्प्ट में जोड़ा जाता है, इस निर्देश के साथ कि "नीचे दिए गए कॉन्टेक्स्ट से ही जवाब दें"।
5. जेनरेशन। मॉडल ऑगमेंटेड प्रॉम्प्ट से जवाब लिखता है, आदर्श रूप से यह बताते हुए कि किस हिस्से से कौन सा दावा साबित होता है।

जब आप किसी चैट टूल में लंबा डॉक्यूमेंट अपलोड करके सवाल पूछते हैं, तो इसी का कोई न कोई वर्शन चल रहा होता है। चैट विद PDF गाइड दिखाती है कि Whizi के भीतर यह असल में कैसा दिखता है।

RAG बनाम लॉन्ग कॉन्टेक्स्ट बनाम फाइन ट्यूनिंग

ये तीनों इसलिए उलझ जाते हैं क्योंकि तीनों ही "मॉडल को आपके डेटा के बारे में सिखाते हैं"। लेकिन तीनों का तरीका एक-दूसरे से मेल नहीं खाता।

थ्योरी से ज़्यादा फैसला इकोनॉमिक्स करती है। 1M टोकन का कॉन्टेक्स्ट विंडो, जो Gemini और GPT-5.6 फैमिली जैसे फ्रंटियर मॉडल अब देते हैं, लगभग 1,500 पेज में फिट हो जाता है, यानी आप सच में एक पूरी मैनुअल पेस्ट कर सकते हैं। लेकिन GPT-5.6 Terra की दर पर, जो प्रति मिलियन इनपुट टोकन $2 है, हर सवाल के साथ मैनुअल के 300,000 टोकन भेजने पर लगभग $0.60 प्रति सवाल खर्च होता है, जबकि सही 2,000 टोकन रिट्रीव करने में आधे सेंट से भी कम लगता है। तीन सवाल पूछिए और वही जवाबों के लिए लॉन्ग कॉन्टेक्स्ट 100 गुना ज़्यादा महंगा हो जाता है। कॉन्टेक्स्ट विंडो क्या है इस अंदरूनी सीमा को समझाता है।

फ़ाइन ट्यूनिंग इनमें अलग है: यह बदलता है कि मॉडल कैसे व्यवहार करता है, न कि वह क्या जानता है। टीमें इसे टोन और आउटपुट फॉर्मेट के लिए इस्तेमाल करती हैं, फिर भी तथ्यों के लिए RAG जोड़ती हैं।

आप बिना जाने कहां पहले से RAG इस्तेमाल कर रहे हैं

चैटबॉट में वेब सर्च। जब ChatGPT, Gemini या Perplexity वेब खोजते हैं और लिंक के साथ जवाब देते हैं, तो यह इंटरनेट को नॉलेज सोर्स बनाकर किया गया RAG ही है।

अपनी फाइलों से चैट करना। कोई PDF अपलोड करके सवाल पूछें: जो भी डॉक्यूमेंट कॉन्टेक्स्ट में आराम से फिट होने के लिए बहुत लंबा हो, उसके लिए पीछे चंकिंग, एंबेडिंग और रिट्रीवल चलते रहते हैं।

कस्टमर सपोर्ट बॉट। जो असली हेल्प सेंटर से जवाब देते हैं और आर्टिकल का हवाला देते हैं, वे RAG सिस्टम हैं। जो अपने आप से बना लेते हैं, वे नहीं हैं, और यह साफ दिखता है।

मौजूदा घटनाओं पर जवाब देने वाले AI असिस्टेंट। मॉडल की ट्रेनिंग कटऑफ के बाद की किसी भी बात का सही जवाब रिट्रीवल से आया है, याददाश्त से नहीं।

RAG कहां फेल होता है, और इसे कैसे पहचानें

RAG हैलुसिनेशन को कम करता है, इसे खत्म नहीं करता, और अपनी कुछ नई तरह की गलतियां भी जोड़ देता है।

रिट्रीवल मिस। अगर सर्च स्टेप गलत हिस्से उठा लेता है, तो मॉडल गलत कॉन्टेक्स्ट से भी बड़ी रवानी से जवाब दे देता है। लक्षण: ऐसा जवाब जो आपके डॉक्यूमेंट का हवाला तो देता है, लेकिन थोड़े अलग सवाल का जवाब देता है।

पुराने इंडेक्स। वेक्टर डेटाबेस डॉक्यूमेंट्स को सिर्फ उनकी आखिरी इंडेक्सिंग तक जानता है। पिछली तिमाही की पॉलिसी पर बना RAG सिस्टम भरोसे से पुराना जवाब देता है, साथ में हवाला भी होता है, जो एक साधारण हैलुसिनेशन से ज़्यादा विश्वसनीय लगता है और इसलिए ज़्यादा खतरनाक है।

टकराते स्रोत। जब रिट्रीव किए गए हिस्से आपस में मेल नहीं खाते, तो मॉडल टकराव बताने के बजाय उन्हें मिलाकर एक चिकना, गलत पैराग्राफ बना देते हैं।

व्यावहारिक बचाव किसी भी AI जवाब जैसा ही है: सिर्फ हवाला होने से संतुष्ट न हों, बल्कि जिस हिस्से का हवाला दिया गया है उसे खुद जांचें। जिस RAG जवाब का स्रोत असल में वह नहीं कहता जो जवाब में दावा किया गया है, वही प्रोडक्शन सिस्टम में सबसे सामान्य और गंभीर गलती है।