Was RAG eigentlich ist
Ein Sprachmodell allein ist eine Klausur mit geschlossenem Buch. Alles, was es dir erzählen kann, war beim Ende des Trainings festgeschrieben, und wer nach seinem Vertrag, seiner Codebasis oder den Nachrichten von gestern fragt, bekommt entweder eine Ablehnung oder eine selbstsichere Vermutung. Warum KI Dinge falsch macht behandelt das Rateproblem ausführlich.
RAG macht aus der Klausur mit geschlossenem Buch eine mit offenem Buch. Bevor das Modell eine Antwort schreibt, durchsucht das System eine Wissensquelle, etwa deine hochgeladenen Dateien, ein Firmenwiki oder das lebende Web, holt die relevantesten Passagen und fügt sie zusammen mit deiner Frage in den Prompt ein. Das Modell antwortet dann aus diesem abgerufenen Text statt nur aus dem Gedächtnis.
Das ist die ganze Idee. Der Name wirkt einschüchternd, der Mechanismus ist "erst nachschlagen". Alles andere im RAG-Engineering geht darum, den Nachschlage-Schritt dazu zu bringen, die richtigen Passagen zu finden.
Warum Modelle überhaupt einen Abrufschritt brauchen
Zwei feste Grenzen schaffen den Bedarf.
Training hat ein Enddatum. Ein Modell, das bis Anfang 2026 trainiert wurde, weiß nichts, was danach passiert ist, und ein Frontier-Modell neu zu trainieren ist ein monatelanges, enorm teures Projekt. Retrieval ist die Methode, mit der ein KI-Produkt über die Ankündigung von heute Morgen antworten kann, ohne dass irgendjemand irgendetwas neu trainiert.
Trainingsdaten waren öffentlich. Deine Rechnungen, Tickets und internen Dokumente waren nie darin enthalten, und keine noch so clevere Formulierung holt Informationen zurück, die das Modell nie gesehen hat. Retrieval ist der einzige Weg, wie ein allgemeines Modell aus privaten Daten antworten kann.
Es gibt auch einen subtileren dritten Grund: Grounding. Wenn die Antwort aus einer bereitgestellten Passage kommen muss, kann das Modell seine Quelle zitieren, und du kannst sie überprüfen. Eine aus dem Gedächtnis erzeugte Antwort bietet nichts, gegen das man prüfen könnte, und genau das ist der Fehlermodus, der Halluzinationen gefährlich macht.
Wie eine RAG-Pipeline Schritt für Schritt funktioniert
Jedes RAG-System, von einer Chat-mit-PDF-Funktion bis zu einem Enterprise-Suchprodukt, läuft nach denselben fünf Schritten.
- Chunking. Quelldokumente werden in Passagen aufgeteilt, typischerweise wenige hundert Wörter jede, weil Retrieval auf Passagen statt auf ganzen Dateien arbeitet.
- Indexierung. Jeder Chunk wird in ein Embedding umgewandelt, eine Zahlenliste, die seine Bedeutung darstellt, und in einer Vektordatenbank gespeichert, sodass ähnliche Bedeutungen nahe beieinander liegen.
- Retrieval. Deine Frage wird auf dieselbe Weise eingebettet, und das System holt die Chunks, deren Embeddings ihr am nächsten liegen, meist die obersten 3 bis 10 Passagen.
- Augmentation. Diese Passagen werden in den Prompt eingefügt, umschlossen von Anweisungen wie "antworte nur aus dem folgenden Kontext".
- Generation. Das Modell schreibt die Antwort aus dem erweiterten Prompt, idealerweise mit Angabe, welche Passage welche Aussage belegt.
Wenn du ein langes Dokument in ein Chat-Tool hochlädst und dazu Fragen stellst, läuft irgendeine Version davon ab. Der Leitfaden zu Chat mit PDF zeigt, wie das in der Praxis in Whizi aussieht.
RAG vs langer Kontext vs Fine-Tuning
Diese drei werden verwechselt, weil alle drei "dem Modell etwas über deine Daten beibringen". Sie tun es auf unvereinbare Weise.
| Ansatz | Wie es funktioniert | Am besten für | Schwäche |
|---|---|---|---|
| RAG | Erst suchen, aus Ergebnissen antworten | Große oder sich ändernde Dokumentmengen, Quellenangaben | Antwortqualität hängt von der Retrieval-Qualität ab |
| Langer Kontext | Alles in den Prompt einfügen | Ein Dokument, tiefe Querverweise | Kosten und Aufmerksamkeitsgrenzen |
| Fine-Tuning | Modell mit Beispielen neu trainieren | Stil, Format und Verhalten | Schwach bei Fakten; teuer zu aktualisieren |
Die Ökonomie entscheidet mehr als die Theorie. Ein Kontextfenster mit 1 Mio. Token, das Frontier-Modelle wie Gemini und die GPT-5.6-Familie inzwischen bieten, fasst rund 1.500 Seiten, sodass man tatsächlich ein ganzes Handbuch einfügen kann. Aber bei GPT-5.6 Terras Preis von $2 pro Million Input-Token kostet das Senden von 300.000 Token Handbuch bei jeder Frage etwa $0.60 pro Frage, während das Abrufen der richtigen 2.000 Token unter einen halben Cent kostet. Stell drei Fragen, und langer Kontext ist 100-mal teurer für dieselben Antworten. Was ist ein Kontextfenster erklärt die zugrunde liegende Grenze.
Fine-Tuning ist der Ausreißer: Es verändert, wie sich das Modell verhält, nicht was es weiß. Teams nutzen es für Ton und Ausgabeformat und schrauben trotzdem RAG für Fakten dazu.
Wo du RAG bereits nutzt, ohne es zu merken
Websuche in Chatbots. Wenn ChatGPT, Gemini oder Perplexity das Web durchsucht und mit Links antwortet, ist das RAG mit dem Internet als Wissensquelle.
Chat mit deinen Dateien. Ein PDF hochladen und Fragen stellen: Chunking, Embedding und Retrieval laufen im Hintergrund für jedes Dokument, das zu lang ist, um bequem in den Kontext zu passen.
Kundensupport-Bots. Die, die aus einem echten Hilfecenter antworten und den Artikel zitieren, sind RAG-Systeme. Die, die improvisieren, sind es nicht, und man merkt es.
KI-Assistenten, die über aktuelle Ereignisse antworten. Jede korrekte Antwort über etwas nach dem Trainings-Stichtag des Modells kam durch Retrieval, nicht durch Gedächtnis.
Wo RAG versagt, und wie man es erkennt
RAG verringert Halluzinationen, es beseitigt sie nicht, und es bringt eigene Fehlermodi mit.
Retrieval-Fehltreffer. Wenn der Suchschritt die falschen Passagen holt, antwortet das Modell flüssig aus irrelevantem Kontext. Symptom: eine Antwort, die dein Dokument zitiert, aber eine leicht andere Frage beantwortet.
Veraltete Indizes. Die Vektordatenbank kennt Dokumente nur zum Zeitpunkt ihrer letzten Indexierung. Ein RAG-System über die Richtlinien des letzten Quartals gibt selbstsicher veraltete Antworten mit angehängten Quellenangaben, was überzeugender ist als eine reine Halluzination und deshalb schlimmer.
Widersprüchliche Quellen. Wenn abgerufene Passagen sich widersprechen, vermischen Modelle sie eher zu einem glatten, falschen Absatz, statt den Widerspruch zu kennzeichnen.
Die praktische Verteidigung ist dieselbe wie bei jeder KI-Antwort: die zitierte Passage prüfen, nicht nur, ob die Quellenangabe existiert. Eine RAG-Antwort, deren Quelle nicht tatsächlich sagt, was die Antwort behauptet, ist der häufigste ernsthafte Fehler in Produktionssystemen.
- Nutze RAG-artige Werkzeuge (Upload, Websuche), wann immer die Frage sich um deine Daten oder aktuelle Ereignisse dreht
- Bevorzuge langen Kontext für ein Dokument, das du tief befragen willst; bevorzuge Retrieval für große oder sich ändernde Mengen
- Erwarte nicht, dass Fine-Tuning Fakten hinzufügt; es verändert Verhalten, nicht Wissen
- Öffne immer die zitierte Passage und bestätige, dass sie sagt, was die Antwort behauptet
- Behandle eine selbstsichere Antwort ohne Quellenangabe als eine auf Gedächtnis basierende Vermutung
Häufige Fragen
Wofür steht RAG in der KI?
RAG steht für retrieval augmented generation. Retrieval bedeutet, eine Wissensquelle nach relevanten Passagen zu durchsuchen, augmented bedeutet, diese Passagen zum Prompt hinzuzufügen, und generation bedeutet, dass das Modell seine Antwort daraus schreibt. Die Technik lässt ein Modell aus Dokumenten und Daten antworten, mit denen es nie trainiert wurde.
Ist RAG besser als Fine-Tuning?
Sie lösen unterschiedliche Probleme. RAG ist besser für Fakten, weil eine Aktualisierung des Wissens bedeutet, Dokumente neu zu indexieren statt neu zu trainieren, und Antworten Quellen zitieren können. Fine-Tuning ist besser für Stil, Ton und Ausgabeformat. Produktionssysteme nutzen häufig beides: Fine-Tuning für Verhalten, RAG für Wissen.
Macht ein großes Kontextfenster RAG überflüssig?
Nein, es verschiebt die Schwelle. Mit 1-Mio.-Token-Fenstern kannst du rund 1.500 Seiten direkt einfügen, was RAG für Arbeit an einem einzelnen Dokument tatsächlich ersetzt. Aber alles bei jeder Frage einzufügen kostet jedes Mal Input-Token, etwa $0.60 pro Frage für ein 300.000-Token-Handbuch bei $2 pro Million Token, während Retrieval nur wenige tausend Token sendet. Für große, sich ändernde oder häufig abgefragte Sammlungen bleibt Retrieval die wirtschaftlichere Antwort.
Muss ich etwas bauen, um RAG zu nutzen?
Nicht als Nutzer. Ein Dokument in ein Chat-Tool hochzuladen oder die Websuche einzuschalten, führt bereits Retrieval im Hintergrund aus. Eine eigene Pipeline mit einer Vektordatenbank zu bauen wird erst relevant, wenn du Software entwickelst, die automatisch aus einer privaten Dokumentensammlung antworten muss.
Stoppt RAG KI-Halluzinationen?
Es verringert sie erheblich, indem es Antworten in abgerufenem Text verankert, aber es bringt eigene Fehler mit: die falsche Passage abrufen, aus einem veralteten Index antworten oder widersprüchliche Quellen vermischen. Die verlässliche Gewohnheit ist zu prüfen, ob die zitierte Passage die Behauptung tatsächlich stützt, was RAG ermöglicht und rein gedächtnisbasierte Antworten nicht.
