Wat is RAG? Hoe AI stopt met gokken en begint met citeren

Wat RAG eigenlijk is

Een taalmodel op zichzelf is een gesloten boek examen. Alles wat het je kan vertellen lag vast toen de training stopte, en vragen over jouw contract, jouw codebase of het nieuws van gisteren leveren je óf een weigering óf een zelfverzekerde gok op. Waarom AI dingen fout heeft behandelt dat gokprobleem uitgebreid.

RAG maakt van het gesloten boek examen een open boek examen. Voordat het model een antwoord schrijft, doorzoekt het systeem een kennisbron, zoals je geüploade bestanden, een bedrijfswiki of het live web, haalt de meest relevante passages op en plakt die in de prompt naast je vraag. Het model beantwoordt vervolgens vanuit die opgehaalde tekst in plaats van alleen uit zijn geheugen.

Dat is het hele idee. De naam klinkt intimiderend; het mechanisme is "zoek het eerst op". Al het andere in RAG-engineering draait om de zoekstap de juiste passages laten vinden.

Waarom modellen überhaupt een zoekstap nodig hebben

Twee harde grenzen creëren die behoefte.

Training heeft een einddatum. Een model dat getraind is tot begin 2026 weet niets van wat daarna gebeurde, en een frontiermodel opnieuw trainen is een project van maanden en enorm duur. Retrieval is hoe een AI-product antwoordt over de aankondiging van vanochtend zonder dat iemand iets hertraint.

Trainingsdata was publiek. Jouw facturen, tickets en interne documenten zaten er nooit in, en geen slimme prompt haalt informatie terug die het model nooit heeft gezien. Retrieval is de enige manier waarop een algemeen model kan antwoorden vanuit privédata.

Er is ook een subtielere derde reden: onderbouwing. Als het antwoord uit een aangeleverde passage moet komen, kan het model zijn bron citeren, en kun jij die controleren. Een antwoord uit het geheugen biedt niets om tegen te controleren, en dat is precies het faalmodel dat hallucinaties gevaarlijk maakt.

Hoe een RAG-pijplijn stap voor stap werkt

Elk RAG-systeem, van een chat-met-PDF functie tot een enterprise zoekproduct, doorloopt dezelfde vijf stappen.

1. Chunking. Bronnen worden opgesplitst in passages, doorgaans een paar honderd woorden elk, omdat retrieval werkt op passages in plaats van hele bestanden.
2. Indexeren. Elke chunk wordt omgezet in een embedding, een lijst getallen die de betekenis weergeeft, en opgeslagen in een vectordatabase zodat vergelijkbare betekenissen dicht bij elkaar liggen.
3. Retrieval. Jouw vraag wordt op dezelfde manier omgezet in een embedding, en het systeem haalt de chunks op waarvan de embeddings er het dichtst bij liggen, meestal de top 3 tot 10 passages.
4. Augmentation. Die passages worden in de prompt gezet, verpakt in instructies zoals "antwoord alleen op basis van de onderstaande context".
5. Generation. Het model schrijft het antwoord op basis van de aangevulde prompt, idealiter met vermelding van welke passage elke claim onderbouwt.

Wanneer je een lang document uploadt naar een chattool en er vragen over stelt, draait er een versie van dit proces. De gids voor chatten met PDF laat zien hoe dat er in de praktijk uitziet binnen Whizi.

RAG versus lang contextvenster versus fine tuning

Deze drie worden verward omdat alle drie "het model iets over jouw data leren". Ze doen dat op onverenigbare manieren.

De economie beslist meer dan de theorie. Een contextvenster van 1M tokens, dat frontiermodellen zoals Gemini en de GPT-5.6-familie nu bieden, biedt ruimte voor ongeveer 1.500 pagina's, dus je kunt echt een hele handleiding plakken. Maar bij het tarief van GPT-5.6 Terra van $2 per miljoen inputtokens kost het meesturen van 300.000 tokens handleiding bij elke vraag ongeveer $0.60 per vraag, terwijl het ophalen van de juiste 2.000 tokens minder dan een halve cent kost. Stel drie vragen en een lang contextvenster is 100 keer duurder voor dezelfde antwoorden. Wat is een contextvenster legt de onderliggende limiet uit.

Fine tuning is de uitzondering: het verandert hoe het model zich gedraagt, niet wat het weet. Teams gebruiken het voor toon en outputformaat, en zetten er vervolgens toch nog RAG bovenop voor feiten.

Waar je RAG al gebruikt zonder het te merken

Websearch in chatbots. Wanneer ChatGPT, Gemini of Perplexity het web doorzoekt en antwoordt met links, is dat RAG met het internet als kennisbron.

Chatten met je bestanden. Upload een PDF en stel vragen: chunking, embedding en retrieval draaien op de achtergrond voor elk document dat te lang is om comfortabel in de context te passen.

Klantenservicebots. Degene die antwoorden op basis van een echt helpcentrum, en het artikel citeren, zijn RAG-systemen. Degene die improviseren zijn dat niet, en dat is te merken.

AI-assistenten die antwoorden over actuele gebeurtenissen. Elk correct antwoord over iets na de trainingsafkapdatum van het model kwam via retrieval, niet via geheugen.

Waar RAG faalt, en hoe je het herkent

RAG vermindert hallucinatie aanzienlijk; het elimineert het niet, en het voegt eigen faalmodi toe.

Missers bij retrieval. Als de zoekstap de verkeerde passages ophaalt, antwoordt het model vloeiend vanuit irrelevante context. Symptoom: een antwoord dat je document citeert maar een iets andere vraag beantwoordt.

Verouderde indexen. De vectordatabase kent alleen documenten zoals ze waren bij de laatste indexering. Een RAG-systeem over het beleid van vorig kwartaal geeft zelfverzekerd verouderde antwoorden met bronvermelding erbij, wat overtuigender is dan een gewone hallucinatie en dus erger.

Tegenstrijdige bronnen. Wanneer opgehaalde passages elkaar tegenspreken, neigen modellen ertoe ze te vermengen tot één vloeiende, foutieve paragraaf in plaats van het conflict te signaleren.

De praktische verdediging is dezelfde als bij elk AI-antwoord: controleer de geciteerde passage, niet alleen of er een citaat staat. Een RAG-antwoord waarvan de bron niet daadwerkelijk zegt wat het antwoord beweert, is de meest voorkomende serieuze fout in productiesystemen.