ChatGPT erfindet Quellen? Ja: 7% bis 69% der Zitate, je nach Studie

Wie oft erfindet ChatGPT Quellen? 7% bis 69% der Zitate, je nach Modell und Jahr

ChatGPT erfindet Quellen mit einer gemessenen Rate von 7% bis 69% der Zitate, die es erzeugt, je nachdem, welches Modell und welches Jahr du betrachtest. Die älteste Messung ist die schlechteste: Gravel und Kollegen stellten ChatGPT Anfang 2023 medizinische Fragen und stellten fest, dass 41 von 59 Referenzen, also 69%, erfunden waren. Die neueste ist die beste: Bernstein und Kollegen baten ChatGPT-5 mit Browsing Anfang 2026 um Referenzen zu 70 orthopädischen Leitlinienempfehlungen, und 7,13% existierten nicht. Keine Studie fand null, und in unserem eigenen Test führte eine DOI, die sauber aufgelöst wurde, zur falschen Studie.

Die vier Zeilen sind vier verschiedene Studien mit vier verschiedenen Aufgaben, lies die Grafik also als Richtung, nicht als Kurve. Die Tabelle darunter enthält jede Studie, die wir an der Quelle öffnen konnten, mit dem Jahr der Abfrage, der Stichprobe und dem Anteil der Zitate, die nicht existierten. Medizinische, juristische und allgemeine wissenschaftliche Referenzen sind alle dabei, weil der Fehler in jedem Fachgebiet derselbe ist.

Zwei Dinge in dieser Tabelle sind wichtiger als die Schlagzeilenraten. Erstens ist der erfundene Anteil nur der halbe Schaden: Bei Walters und Wilder heißt es: "55% of the GPT-3.5 citations but just 18% of the GPT-4 citations are fabricated. Likewise, 43% of the real (non-fabricated) GPT-3.5 citations but just 24% of the real GPT-4 citations include substantive citation errors." Eine Referenz, die existiert, aber das falsche Jahr, den falschen Band oder falsche Autoren trägt, fällt bei derselben Gutachterin durch. Zweitens schwankt die Rate mit der Nischigkeit des Themas. Linardon und Kollegen baten GPT-4o um Übersichten zu drei Störungen und erhielten 6% erfundene Zitate bei Major Depression, 28% bei Binge-Eating-Störung und 29% bei körperdysmorpher Störung. Je enger deine Frage, desto mehr der Antwort ist geraten.

Warum erfindet ChatGPT Quellen? Es schreibt die Form eines Zitats, nicht den Datensatz

ChatGPT erfindet Quellen, weil es die wahrscheinlichsten nächsten Wörter erzeugt, und ein Zitat ist eine sehr regelmäßige Zeichenfolge: Nachname, Initialen, Jahr, Titel, Journal, Band, Seiten, DOI. Jeder Teil dieses Musters lässt sich leicht fortsetzen, und nichts davon wird nachgeschlagen. Das Modell, das die Referenz schrieb, hat nie eine Datenbank geöffnet, also kann nichts im Ablauf einen echten Datensatz von einem wohlgeformten unterscheiden.

Die Forschenden von OpenAI selbst sagen, die zweite Hälfte des Mechanismus sei das Training. In Why Language Models Hallucinate (Kalai, Nachum, Vempala und Zhang, September 2025) beginnt das Abstract: "Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty." Ein geratenes Zitat, das zufällig stimmt, bringt Punkte; "Ich weiß es nicht" bringt nichts; also lernt das Modell zu raten. Was eine KI-Halluzination ist behandelt diese Arbeit ausführlich.

Die Erfindungen sind selten zufällig. In unserem Test unten nannte das Modell ein echtes Autorenpaar, das 2006 tatsächlich im Journal of Adolescent Health zu Koffein und Jugendlichen veröffentlicht hat, und schrieb dann den falschen Titel, das falsche Heft, die falschen Seiten und eine DOI, die zu einem anderen Artikel gehört. Jedes Feld stammte aus der Nachbarschaft der Wahrheit. Deshalb übersteht ein falsches Zitat einen flüchtigen Blick, und deshalb prüfen die Schritte im vierten Abschnitt die Felder gegeneinander statt das Zitat gegen dein Gedächtnis.

Verhindert die Websuche erfundene Quellen bei ChatGPT? Sie senkt die Rate, nicht auf null

Websuche senkt erfundene Zitate deutlich, beseitigt sie aber nicht. ChatGPT-5 mit Browsing erfand in der Studie von Bernstein und Kollegen von 2026 trotzdem 7,13% von 2.736 Referenzen; im Abstract heißt es am Ende: "Citation errors and fabricated references persist in ChatGPT-5. Independent verification of generated references therefore remains necessary." Bei 53.090 URLs, die suchgestützte Modelle und Deep-Research-Agenten zitierten, fanden Rao, Wong und Callison-Burch (April 2026), dass 3% bis 13% auf Seiten zeigten, die nicht existieren, und dass die Agenten mit den meisten Zitaten am stärksten halluzinierten. Im Recht, wo Retrieval eingebaut ist, fanden Magesh und Kollegen von Stanford (2024), dass Lexis+ AI und die Tools von Thomson Reuters "each hallucinate between 17% and 33% of the time".

Den Vergleich haben wir am 27. September 2026 selbst durchgeführt, mit GPT-5.6 Luna über Whizi, wo die Websuche ein Schalter im Eingabefeld ist. Ein Prompt, zweimal gesendet, einmal mit ausgeschalteter Suche und einmal mit eingeschalteter: "List five peer-reviewed journal articles on caffeine and sleep latency in adolescents. For each give authors, year, article title, journal, volume, pages and DOI." Danach ging jede DOI an doi.org und an die Crossref-API, und der zurückgelieferte Datensatz wurde Feld für Feld mit dem verglichen, was das Modell geschrieben hatte.

Keiner der beiden Läufe lieferte fünf. Mit ausgeschalteter Suche nannte das Modell zwei und lehnte den Rest ab, mit dem Hinweis, es wolle DOI-Angaben nicht "erfinden oder falsch wiedergeben"; mit eingeschalteter Suche nannte es drei mit angehängten PubMed-Links und sagte, die Ergebnisse stützten zwei weitere nicht. Das eine schlechte Zitat stammte aus dem Lauf ohne Suche, und es ist die lehrreiche Sorte: Die DOI wird aufgelöst, ein reiner DOI-Check lässt sie also durch, und nur das Lesen des Titels auf der Zielseite entlarvt sie. Zwei Einschränkungen. Der Test lief über Whizi, dessen eigener System-Prompt mitspielt, es ist also ein Modell an einem Datum und keine Rate. Und Whizi schneidet bei genau dem Thema dieser Seite schlecht ab: Stand September 2026 hat es keinen Zitat-Checker, ein Link in der Antwort ist also weiterhin ein Link, den du selbst öffnest, und niemand hat seine 280+ Modelle bei dieser Aufgabe gemessen, die Modellauswahl kann dir also nicht sagen, welches am wenigsten erfindet. Was der Websuche-Schalter leistet, ist, dem Modell aktuelle Seiten zum Zitieren zu geben, und daher stammten die drei bestätigten Referenzen.

Wie prüfst du ein ChatGPT-Zitat in 60 Sekunden? Vier Schritte, in dieser Reihenfolge

Du prüfst ein ChatGPT-Zitat, indem du seine Felder gegen eine Datenbank testest: den exakten Titel suchen, die DOI auflösen und die Zielseite lesen, Band und Seiten mit dem Jahr der Zeitschrift abgleichen und dann die Publikationsliste der Autorin oder des Autors öffnen. Jeder Schritt fängt einen Fehler, den der vorherige übersieht, und die ganze Abfolge dauert pro Referenz etwa eine Minute, sobald du sie zweimal gemacht hast.

1. Exakte Titelsuche. Füge den Titel in doppelten Anführungszeichen in Google Scholar oder das Crossref-Suchfeld ein. Eine echte Studie erscheint einmal, mit denselben Autoren. Kein Treffer oder ein Treffer mit anderen Autoren beendet die Prüfung: Das Zitat ist so nicht verwendbar.
2. DOI auflösen, dann lesen. Füge die DOI hinter https://doi.org/ ein. Ein 404 heißt, die DOI war erfunden. Eine Seite, die lädt, ist noch kein Bestehen, lies also den Titel darauf. Unser Orbeta-Zitat führte sauber zu einer Studie über HPV, und der Crossref-Datensatz zeigte Band 37, Heft 6, 2005, gegen 38(3), 2006, was das Modell geschrieben hatte.
3. Band und Seiten gegen das Jahr. Öffne auf der Website der Zeitschrift den Band, den das Zitat nennt, und bestätige Jahr und Seitenbereich. Walters und Wilder fanden bei 24% der echten GPT-4-Zitate einen inhaltlichen Fehler in einem Feld, und hier zeigen sich die falschen.
4. Die Publikationsliste der Autorin oder des Autors. Öffne das Google-Scholar-Profil, den ORCID-Eintrag oder die Institutsseite der Erstautorin oder des Erstautors und finde die Studie dort. Zwei echte Autoren, die nie zusammen geschrieben haben, sind eine häufige Erfindung und bis zu diesem Schritt unsichtbar.

Die Prüfung geht schneller, wenn das Modell dir die Kennungen nennen muss. Füge diese Zeile an jede Bitte um Quellen an: "Give the DOI and the PubMed ID for every reference, and mark any reference you cannot give a DOI for as unverified." Ein Modell mit eingeschalteter Suche hängt die Links an; ein Modell mit ausgeschalteter Suche liefert entweder DOIs, die du auflösen kannst, oder gibt zu, dass es keine hat, was es in unserem Test tat. Frage das Modell nie, ob sein eigenes Zitat echt ist: Die Bestätigung wird genauso erzeugt wie das Zitat. Wie du KI-Antworten auf Fakten prüfst ist die allgemeine Zwei-Minuten-Methode für Behauptungen, Zahlen und Zitate; diese Abfolge ist ihr zitatspezifischer Teil.

Bei einer Referenz, die du einreichst, ablegst oder veröffentlichst, mach alle vier Schritte. Bei einer, die du nur liest, reicht Schritt 1, um zu entscheiden, ob du weiterliest.

Ist ChatGPT eine glaubwürdige Quelle? Nicht für das Zitat selbst, und die Gerichte haben das beziffert

ChatGPT ist keine glaubwürdige Quelle für ein Zitat, denn das Zitat ist eine Behauptung über einen Datensatz und nicht der Datensatz; es ist ein schneller Weg, Kandidaten für Studien zu finden, deren echte Datensätze du dann öffnest. Diese Unterscheidung hat eine laufende Rechnung. Die Datenbank von Damien Charlotin mit Gerichtsentscheidungen, in denen sich eine Partei auf halluziniertes Material stützte, führte am 27. September 2026 2.086 Fälle auf, 1.430 davon in den USA, 828 von Anwälten eingereicht und 33 von Richtern. Das sind die Schriftsätze, die ein Gericht bemerkt und dokumentiert hat. Warum KI Dinge falsch macht behandelt die Fehler, die nie bei einem Richter ankommen.

Die Entscheidungsregel lautet also: Ein Zitat aus einem Chatmodell ist ein Hinweis, bis eine Datenbank etwas anderes sagt, und ein Hinweis ist genau die Minute wert, die die Prüfung dauert.