RAG কী? কীভাবে AI অনুমান করা বন্ধ করে আর সোর্স দেখানো শুরু করে

RAG আসলে যা

একটা ভাষা মডেল একা একা একটা ক্লোজড বুক পরীক্ষার মতো। এটা আপনাকে যা বলতে পারে তার সবকিছু প্রশিক্ষণ শেষ হওয়ার সময় স্থির হয়ে গিয়েছিল, আর আপনার চুক্তি, আপনার কোডবেস, বা গতকালের খবর নিয়ে প্রশ্ন করলে আপনি হয় প্রত্যাখ্যান পাবেন নয়তো একটা আত্মবিশ্বাসী অনুমান। কেন AI ভুল করে এই অনুমানের সমস্যাটা বিস্তারিত আলোচনা করে।

RAG এই ক্লোজড বুক পরীক্ষাকে একটা ওপেন বুক পরীক্ষায় পরিণত করে। মডেল উত্তর লেখার আগে, সিস্টেম একটা জ্ঞানের উৎস খোঁজে, যেমন আপনার আপলোড করা ফাইল, একটা কোম্পানি উইকি, বা লাইভ ওয়েব, সবচেয়ে সংশ্লিষ্ট অনুচ্ছেদগুলো তুলে আনে, আর আপনার প্রশ্নের পাশাপাশি সেগুলো প্রম্পটে পেস্ট করে দেয়। তারপর মডেল কেবল স্মৃতি থেকে নয়, সেই তুলে আনা টেক্সট থেকে উত্তর দেয়।

এটাই সম্পূর্ণ ধারণা। নামটা ভয় জাগানো; কৌশলটা হলো "প্রথমে খুঁজে দেখো"। RAG ইঞ্জিনিয়ারিংয়ের বাকি সবকিছু এই খোঁজার স্টেপটাকে ঠিক অনুচ্ছেদ খুঁজে পাওয়ানোর সঙ্গে সম্পর্কিত।

কেন মডেলদের একটা রিট্রিভাল স্টেপ একেবারেই দরকার

দুটো কঠিন সীমা এই প্রয়োজন তৈরি করে।

প্রশিক্ষণের একটা শেষ তারিখ আছে। 2026 সালের শুরুর দিক পর্যন্ত প্রশিক্ষিত একটা মডেল তার পরে ঘটা কিছুই জানে না, আর একটা ফ্রন্টিয়ার মডেলকে পুনঃপ্রশিক্ষণ দেওয়া মাসব্যাপী, বিশাল খরচের একটা প্রজেক্ট। রিট্রিভালের মাধ্যমেই একটা AI প্রোডাক্ট কারও পুনঃপ্রশিক্ষণ ছাড়া আজ সকালের ঘোষণা নিয়ে উত্তর দিতে পারে।

প্রশিক্ষণ ডেটা প্রকাশ্য ছিল। আপনার ইনভয়েস, টিকিট আর অভ্যন্তরীণ ডকুমেন্ট এতে কখনোই ছিল না, আর কতটাই চতুর প্রম্পট লেখা হোক, মডেল যা কখনো দেখেনি তা পুনরুদ্ধার করা যায় না। রিট্রিভালই একটা সাধারণ মডেলের প্রাইভেট ডেটা থেকে উত্তর দেওয়ার একমাত্র উপায়।

একটা আরও সূক্ষ্ম তৃতীয় কারণও আছে: গ্রাউন্ডিং। যখন উত্তর একটা সরবরাহিত অনুচ্ছেদ থেকে আসতেই হয়, মডেল তার সোর্স উদ্ধৃত করতে পারে, আর আপনি সেটা যাচাই করতে পারেন। স্মৃতি থেকে তৈরি একটা উত্তর যাচাই করার মতো কিছুই দেয় না, আর এটাই ঠিক সেই ব্যর্থতা যা হ্যালুসিনেশনকে বিপজ্জনক করে তোলে।

একটা RAG পাইপলাইন কীভাবে কাজ করে, স্টেপ বাই স্টেপ

একটা চ্যাট-উইথ-PDF ফিচার থেকে একটা এন্টারপ্রাইজ সার্চ প্রোডাক্ট পর্যন্ত, প্রতিটা RAG সিস্টেম একই পাঁচটা স্টেপ চালায়।

1. চাংকিং। সোর্স ডকুমেন্টগুলোকে অনুচ্ছেদে ভাগ করা হয়, সাধারণত প্রতিটা কয়েকশো শব্দের, কারণ রিট্রিভাল সম্পূর্ণ ফাইলের চেয়ে অনুচ্ছেদের ওপর ভালো কাজ করে।
2. ইনডেক্সিং। প্রতিটা চাংককে একটা এমবেডিং-এ রূপান্তর করা হয়, সংখ্যার একটা তালিকা যা তার অর্থ প্রতিনিধিত্ব করে, আর একটা ভেক্টর ডেটাবেসে সংরক্ষণ করা হয় যাতে একই রকম অর্থগুলো কাছাকাছি থাকে।
3. রিট্রিভাল। আপনার প্রশ্নকে একই পদ্ধতিতে এমবেড করা হয়, আর সিস্টেম সেই চাংকগুলো তুলে আনে যাদের এমবেডিং সবচেয়ে কাছাকাছি বসে, সাধারণত টপ 3 থেকে 10টা অনুচ্ছেদ।
4. অগমেন্টেশন। সেই অনুচ্ছেদগুলো প্রম্পটে ঢোকানো হয়, "নিচের কনটেক্সট থেকে কেবল উত্তর দাও" জাতীয় নির্দেশনার সঙ্গে মোড়া হয়।
5. জেনারেশন। মডেল অগমেন্টেড প্রম্পট থেকে উত্তর লেখে, আদর্শভাবে কোন অনুচ্ছেদ কোন দাবিকে সমর্থন করেছে তা উদ্ধৃত করে।

যখন আপনি একটা চ্যাট টুলে একটা দীর্ঘ ডকুমেন্ট আপলোড করেন আর তা নিয়ে প্রশ্ন করেন, এটার কোনো না কোনো ভার্সনই চলে। চ্যাট উইথ PDF গাইড Whizi-র ভেতরে ব্যবহারিকভাবে এটা কেমন দেখায় তা দেখায়।

RAG বনাম লং কনটেক্সট বনাম ফাইন টিউনিং

এই তিনটা গুলিয়ে যায় কারণ তিনটাই "মডেলকে আপনার ডেটা সম্পর্কে শেখায়"। এগুলো অসামঞ্জস্যপূর্ণ উপায়ে এটা করে।

থিওরির চেয়ে অর্থনীতিই বেশি সিদ্ধান্ত নেয়। একটা 1M টোকেন কনটেক্সট উইন্ডো, যা Gemini আর GPT-5.6 পরিবারের মতো ফ্রন্টিয়ার মডেল এখন দেয়, প্রায় 1,500 পাতা ধরতে পারে, তাই আপনি সত্যিই একটা পুরো ম্যানুয়াল পেস্ট করতে পারেন। কিন্তু GPT-5.6 Terra-র প্রতি মিলিয়ন ইনপুট টোকেনে $2 রেটে, প্রতিটা প্রশ্নের সঙ্গে 300,000 টোকেনের ম্যানুয়াল পাঠানোর খরচ প্রায় $0.60 প্রতি প্রশ্ন, যেখানে ঠিক 2,000 টোকেন রিট্রিভ করার খরচ আধা সেন্টের কম। তিনটা প্রশ্ন করুন আর একই উত্তরের জন্য লং কনটেক্সট 100 গুণ বেশি খরচবহুল হয়ে যায়। কনটেক্সট উইন্ডো কী অন্তর্নিহিত সীমাটা ব্যাখ্যা করে।

ফাইন টিউনিং হলো ব্যতিক্রম: এটা মডেল কী জানে তা নয়, মডেল কীভাবে আচরণ করে তা বদলায়। টিম এটা টোন আর আউটপুট ফরম্যাটের জন্য ব্যবহার করে, তারপরও ফ্যাক্টের জন্য RAG জুড়ে দেয়।

যেখানে আপনি না জেনেই RAG ব্যবহার করছেন

চ্যাটবটে ওয়েব সার্চ। যখন ChatGPT, Gemini বা Perplexity ওয়েব সার্চ করে আর লিংক দিয়ে উত্তর দেয়, তখন সেটা ইন্টারনেটকে জ্ঞানের উৎস ধরে চালানো RAG।

আপনার ফাইলের সঙ্গে চ্যাট। একটা PDF আপলোড করে প্রশ্ন করুন: চাংকিং, এমবেডিং আর রিট্রিভাল পর্দার আড়ালে চলে এমন কোনো ডকুমেন্টের জন্য যা কনটেক্সটে স্বাচ্ছন্দ্যে ফিট হওয়ার চেয়ে বেশি দীর্ঘ।

কাস্টমার সাপোর্ট বট। যেগুলো একটা আসল হেল্প সেন্টার থেকে উত্তর দেয়, আর আর্টিকেল উদ্ধৃত করে, সেগুলো RAG সিস্টেম। যেগুলো নিজে থেকে বানিয়ে বলে, সেগুলো নয়, আর সেটা বোঝা যায়।

হালনাগাদ ঘটনা নিয়ে উত্তর দেওয়া AI অ্যাসিস্ট্যান্ট। মডেলের প্রশিক্ষণ কাটঅফের পরের কিছু নিয়ে যে কোনো সঠিক উত্তর রিট্রিভালের মাধ্যমে এসেছে, স্মৃতি থেকে নয়।

RAG কোথায় ব্যর্থ হয়, আর কীভাবে সেটা ধরবেন

RAG হ্যালুসিনেশন কমায়; এটা একে সম্পূর্ণ মুছে দেয় না, আর এটা নিজের কিছু ব্যর্থতাও যোগ করে।

রিট্রিভাল মিস। সার্চ স্টেপ ভুল অনুচ্ছেদ তুলে আনলে, মডেল অপ্রাসঙ্গিক কনটেক্সট থেকেই সাবলীলভাবে উত্তর দেয়। লক্ষণ: এমন একটা উত্তর যা আপনার ডকুমেন্ট উদ্ধৃত করে কিন্তু সামান্য আলাদা একটা প্রশ্নের সমাধান দেয়।

পুরনো ইনডেক্স। ভেক্টর ডেটাবেস কেবল তার শেষ ইনডেক্সিংয়ের সময়কার ডকুমেন্ট জানে। গত কোয়ার্টারের নীতির ওপর চলা একটা RAG সিস্টেম সাইটেশন লাগানো আত্মবিশ্বাসী পুরনো উত্তর দেয়, যা একটা সাদামাটা হ্যালুসিনেশনের চেয়ে বেশি বিশ্বাসযোগ্য আর তাই আরও খারাপ।

পরস্পরবিরোধী সোর্স। যখন তুলে আনা অনুচ্ছেদগুলো একমত হয় না, মডেলরা সংঘাত চিহ্নিত করার বদলে সেগুলোকে একটা মসৃণ, ভুল অনুচ্ছেদে মিশিয়ে দিতে থাকে।

ব্যবহারিক সুরক্ষা যে কোনো AI উত্তরের মতোই: উদ্ধৃত অনুচ্ছেদটা পরীক্ষা করুন, শুধু সাইটেশনের অস্তিত্ব না। একটা RAG উত্তর যার সোর্স আসলে উত্তরের দাবি করা কথাটা বলেই না, প্রোডাকশন সিস্টেমে সবচেয়ে সাধারণ গুরুতর ব্যর্থতা এটাই।