
KI-Modelle fügen 1.8% bis 24.2% der Zusammenfassungen unbelegte Aussagen hinzu und raten bei bis zu 96.5% der schweren Fragen, die sie verfehlen, falsch
Jede KI-Halluzinationsstatistik unten haben wir am 6. Oktober 2026 an ihrer Primärquelle geöffnet. Der Median und die Zahl der verglichenen Modelle sind unsere eigene Rechnung auf Basis von Vectaras veröffentlichten Tabellen.
| Statistik | Wert | Quelle | Datum |
|---|---|---|---|
| Niedrigste Rate beim Zusammenfassen eines Dokuments, 108 Modelle | 1.8% (Ant Group Finix S1 32B) | Vectara Hallucination Leaderboard | 22. Sep 2026 |
| Median beim Zusammenfassen eines Dokuments | 9.6% | Whizi, aus Vectaras Tabelle | 22. Sep 2026 |
| Modelle, die 10% oder mehr der Zusammenfassungen unbelegte Aussagen hinzufügen | 50 von 108 | Whizi, aus Vectaras Tabelle | 22. Sep 2026 |
| Dieselben Modelle, nachdem Vectara den Test verschärft hatte | 39 von 44 schlechter, Median 4.1% auf 7.95% | Whizi, aus Vectaras Tabellen 2025 und 2026 | Okt 2025 und Sep 2026 |
| Niedrigste Rate bei schweren Fragen aus dem Gedächtnis, 30 Spitzenkonfigurationen | 15.1% (Gemini 4 Argon) | Artificial Analysis AA-Omniscience | 6. Okt 2026 |
| Höchste Rate im selben Test | 96.5% (DeepSeek V4.1 Flash) | Artificial Analysis AA-Omniscience | 6. Okt 2026 |
| GPT-6 Astra in drei verschiedenen Tests | 4.2%, 8.7% und 51.3% | OpenAI, Vectara, Artificial Analysis | Sep und Okt 2026 |
| KI-Nachrichtenantworten mit mindestens einem erheblichen Mangel | 45% | EBU und BBC, 2,709 Antworten in 14 Sprachen | Okt 2025 |
| Chatbot-Antworten, die eine falsche Nachrichtenbehauptung wiederholen | mehr als 28% | NewsGuard, 11 Chatbots | Audit Jan 2026 |
| Gerichtsentscheidungen mit KI-erfundenem Material | 2,149 | Damien Charlotin, AI Hallucination Cases database | 6. Okt 2026 |
| Beschäftigte, die KI bei der Arbeit nutzen und sagen, sie habe Fehler in ihrer Arbeit verursacht | 56% | KPMG und University of Melbourne, 48,000 Personen | Apr 2025 |
| KI-Tools für die Rechtsrecherche mit halluzinierten Antworten | 17% bis 33% | Stanford RegLab | Mai 2024 |
Das Diagramm zeigt AA-Omniscience so, wie Artificial Analysis es am 6. Oktober 2026 darstellte, jeweils mit der höchsten Reasoning-Stufe, die dort für das Modell aufgeführt ist. Unten steht die Genauigkeit bei 6,000 schweren Fragen. Seitlich steht die Halluzinationsrate: Von den Fragen, die ein Modell nicht richtig beantwortet hat, der Anteil, den es falsch beantwortete, statt zu sagen, dass es die Antwort nicht weiß. Claude Fable 5.1 von Anthropic weiß mit 67.2% richtigen Antworten am meisten. Trotzdem beantwortet es 72.6% seiner Fehlversuche mit etwas Falschem. Gemini 4 Argon von Google trifft weniger, nämlich 49.9%, und landet bei 15.1%, weil es viel öfter passt. Wissen und Raten sind zwei getrennte Fähigkeiten.
Wie hoch ist die KI-Halluzinationsrate je Modell?
Auf Vectaras Leaderboard reicht die KI-Halluzinationsrate je Modell von 1.8% bei Finix S1 32B von Ant Group bis 24.2% bei Ministral 3 3B von Mistral, der Median liegt bei 9.6%. Vectara gibt jedem Modell dieselben mehr als 7,700 Artikel und zählt, wie oft die Zusammenfassung etwas behauptet, das im Artikel nicht steht. Kein einziges Modell erreicht null.
| Modell | Anbieter | Zusammenfassungen mit unbelegter Aussage |
|---|---|---|
| GPT-5.4 nano | OpenAI | 3.1% |
| Gemini 2.5 Flash Lite | 3.3% | |
| Llama 3.3 70B | Meta | 4.1% |
| GPT-6 Sol | OpenAI | 6.5% |
| DeepSeek V4 Pro | DeepSeek | 8.6% |
| GPT-6 Astra | OpenAI | 8.7% |
| Gemini 3.1 Pro (preview) | 10.4% | |
| Claude Sonnet 4.6 | Anthropic | 10.6% |
| Kimi K2.6 | Moonshot AI | 10.8% |
| Claude Opus 4.7 | Anthropic | 12.0% |
| GPT-5.6 Sol | OpenAI | 12.4% |
| Grok 4.1 Fast (reasoning) | xAI | 19.2% |
| Mistral Medium (2508) | Mistral | 22.7% |
Jede Zeile stammt aus Vectaras Tabelle vom 22. September 2026, und die vollständige Liste aller 108 Modelle steht auf Vectaras GitHub-Seite. Das kleine Modell eines Anbieters schneidet hier oft besser ab als das Flaggschiff: OpenAIs GPT-5.4 nano erreicht 3.1%, GPT-5.6 Sol dagegen 12.4%. Neuer heißt auch nicht immer niedriger. Claude Opus 4.7 von Anthropic liegt mit 12.0% über dem älteren Claude Sonnet 4.6. Vectara sagt offen, was der Test nicht kann. In den FAQ räumt das Team ein, dass ein Modell, das Sätze einfach aus dem Artikel kopiert, eine perfekte Punktzahl bekäme.
Dasselbe Modell kann drei sehr verschiedene Zahlen tragen. OpenAIs Startseite zu GPT-6 Astra vom 3. September 2026 nennt 4.2% in einem internen Benchmark. Vectara misst 8.7%, und Artificial Analysis kommt je nach Reasoning-Stufe auf 44.8% bis 51.3%. Keine der drei Zahlen ist falsch. Jede stellt eine andere Frage.
Warum widersprechen sich KI-Halluzinations-Benchmarks?
KI-Halluzinations-Benchmarks widersprechen sich, weil jeder einen anderen Fehler an einer anderen Aufgabe mit einem anderen Nenner testet. Lies die Definition, bevor du die Zahl zitierst.
| Benchmark | Aufgabe des Modells | Was die Rate zählt | Aktuelle Spanne |
|---|---|---|---|
| Vectara Leaderboard | Einen vorgelegten Artikel zusammenfassen | Zusammenfassungen mit einer Aussage, die der Artikel nicht stützt | 1.8% bis 24.2%, Sep 2026 |
| Artificial Analysis AA-Omniscience | 6,000 schwere Fragen aus dem Gedächtnis beantworten | Verfehlte Fragen, die falsch statt mit Passen beantwortet wurden | 15.1% bis 96.5% über 30 Spitzenkonfigurationen, Okt 2026 |
| OpenAI SimpleQA, in der Studie vom September 2025 | Kurze Faktenfragen aus dem Gedächtnis beantworten | Alle falsch beantworteten Fragen | 26% (gpt-5-thinking-mini) bis 75% (o4-mini), Sep 2025 |
| OpenAI interner Benchmark | ChatGPT-Gespräche beantworten, die Nutzer als falsch markiert haben | Antworten mit irgendeinem Sachfehler | 4.2% (GPT-6 Astra) und 12.2% (GPT-5.6 Sol), Sep 2026 |
| NewsGuard AI False Claims Monitor | Auf Prompts zu falschen Nachrichten antworten | Antworten, die die falsche Behauptung wiederholen | mehr als 28%, Jan 2026 |
| EBU und BBC News Integrity study | Nachrichtenfragen beantworten | Antworten mit erheblichem Mangel, von Journalisten beurteilt | 30% bis 76% je Assistent, Okt 2025 |
OpenAIs Forscher argumentierten im September 2025, dass die Art der Bewertung das Problem verschärft. Ihr Beitrag sagt, "standard training and evaluation procedures reward guessing over acknowledging uncertainty." Die SimpleQA-Zahlen, mit denen sie das belegen, sind deutlich. OpenAIs älteres o4-mini beantwortete 24% der Fragen richtig und 75% falsch, und es passte nur bei 1%. Das neuere gpt-5-thinking-mini traf 22%, passte aber bei 52% und lag nur bei 26% falsch. In einer Wertung, die nur das Richtige zählt, gewinnt der Rater.
Deshalb gibt es nicht die eine "Halluzinationsrate" eines Modells. Wer zwei Anbieter widersprechen sehen will, kann dieselbe Frage an zwei von Whizis 280+ Modellen in der Nebeneinander-Ansicht schicken, und warum KI Dinge falsch versteht zeigt, wie du die Antwort danach prüfst.
Sinken die KI-Halluzinationsraten im Lauf der Zeit?
In einem festen Test sind die Halluzinationsraten meist gesunken. Doch die Tests werden immer schwerer, sodass eine Schlagzeilenzahl steigen kann, während die Modelle besser werden. Vectaras Leaderboard zeigt den zweiten Effekt deutlich.
Zwischen Oktober 2025 und September 2026 ersetzte Vectara seinen Datensatz durch mehr als 7,700 Artikel, einige bis zu 24,000 Wörter lang, und wechselte den Prüfer von HHEM-2.1 zu HHEM-2.3. Wir haben die 44 Modelle verglichen, die auf beiden Tabellen unter demselben Namen stehen, und jeden Namen weggelassen, den die alte Tabelle in zwei Versionen führte. Neununddreißig schnitten im neuen Test schlechter ab. Vier schnitten besser ab, und DeepSeek V3.1 blieb gleich. Der Median der 44 stieg von 4.1% auf 7.95%, bei jeweils demselben Release wie zuvor.
OpenAIs GPT-5 mit hohem Reasoning-Aufwand machte den größten Sprung, von 1.4% auf 15.1%. Eine Zahl von 2025 und eine von 2026 aus demselben Leaderboard lassen sich deshalb nicht als Trend lesen. Nenne zur Zahl immer das Datum und den Datensatz.
OpenAIs eigene Werte zeigen meist nach unten, mit einer Umkehr. Die System Card vom April 2025 zeigte, dass o3 bei 33% der PersonQA-Fragen halluzinierte, doppelt so viel wie die 16% des älteren o1, und o4-mini bei 48%. Im August 2025 sagte OpenAI, GPT-5 mit Thinking mache etwa 80% seltener einen Sachfehler als o3. Im September 2026 nannte die GPT-6-Astra-Seite für das Modell 4.2%, gegenüber 12.2% bei GPT-5.6 Sol. Die System Card erklärt, dieser Test nutze Gespräche, die Nutzer markiert hatten, daher liegen die Raten weit über dem, was Menschen im Alltag erleben.
Auch die Startzahl selbst bewegte sich. Fortune berichtete am 4. September 2026, OpenAI habe die Werte für Astra und GPT-5.6 Sol nach dem Livegang auf 2% und 9.4% geändert und danach die zuerst gezeigten 4.2% und 12.2% wieder eingesetzt. OpenAI sagte Fortune, die Änderungen sollten sicherstellen, dass die Zahlen die beste Schätzung seien.
Unabhängige Audits bewegten sich in beide Richtungen. NewsGuard fand im August 2025, dass Chatbots falsche Nachrichtenbehauptungen in 35% der Fälle wiederholten, nach 18% ein Jahr zuvor, während ihre Verweigerungsrate von 31% auf null fiel. Das Audit vom Januar 2026 ergab eine Rate über 28%. Der eigene Vergleich der BBC ging in die andere Richtung: Antworten mit erheblichem Mangel sanken von 51% in der ersten Studie auf 37% in der Runde, die die EBU im Oktober 2025 veröffentlichte.
Artificial Analysis stellte im November 2025 fest, dass bei seinen schweren Fragen alle bis auf drei Modelle eher halluzinierten, als richtig zu antworten. Im Oktober 2026 beantworten 15 der 30 standardmäßig angezeigten Spitzenkonfigurationen noch immer mehr als die Hälfte ihrer Fehlversuche falsch. Der Median liegt bei 49.8%.
Wie oft liegen KI-Assistenten bei Nachrichten falsch?
KI-Assistenten gaben in der Studie von EBU und BBC vom 21. Oktober 2025, durchgeführt von 22 öffentlich-rechtlichen Sendern in 18 Ländern, auf 45% der Nachrichtenfragen eine erheblich fehlerhafte Antwort. Die EBU nennt sie eine der größten Untersuchungen ihrer Art.
Journalisten prüften 2,709 Antworten von ChatGPT, Copilot, Gemini und Perplexity in 14 Sprachen. Die Quellenangaben machten die meisten Probleme. In 31% der Antworten gab es ein ernstes Quellenproblem, etwa eine fehlende, falsche oder falsch zugeordnete Quelle. Jede fünfte hatte ein großes Genauigkeitsproblem, darunter erfundene oder veraltete Angaben. Googles Gemini schnitt am schlechtesten ab, mit erheblichen Mängeln in 76% seiner Antworten. Copilot folgte mit 37%, ChatGPT mit 36% und Perplexity mit 30%.
Das Tow Center der Columbia University ließ 1,600 Anfragen durch acht KI-Suchtools laufen und bat jedes, den Artikel zu nennen, aus dem ein Zitat stammt. Laut dem Beitrag vom März 2025 gaben die Tools bei mehr als 60% der Anfragen falsche Antworten. Perplexity lag bei 37% falsch. Grok 3 von xAI lag bei 94% falsch.
Was kosten KI-Halluzinationen in der Praxis?
Die deutlichsten Kosten zeigen sich vor Gericht. Am 6. Oktober 2026 führte Damien Charlotins Datenbank 2,149 Entscheidungen auf, in denen sich ein Gericht mit KI-erfundenem Material befasste, davon 1,473 in den USA.
Die meisten betreffen Personen ohne Anwalt: 1,233 Einträge nennen eine Partei ohne anwaltliche Vertretung. Auf Anwälte entfallen 854 und auf Richter 33. Charlotins Daten zeigen 852 Entscheidungen mit Datum im gesamten Jahr 2025 und 1,208 von Januar bis September 2026, dieses Jahr hat das letzte also schon übertroffen. Wo ein Schriftsatz das Tool nennt, taucht ChatGPT in 139 von 235 Fällen auf. Von den 192 in US-Dollar angegebenen Strafen erreichten sechs $50,000 oder mehr.
Der erste berühmte Fall setzte einen niedrigen Preis. In Mata v. Avianca verhängte ein Bundesrichter in New York am 22. Juni 2023 gegen zwei Anwälte und ihre Kanzlei eine Strafe von $5,000. Sie hatten sechs Gerichtsentscheidungen zitiert, die ChatGPT erfunden hatte.
Kostenpflichtige Rechtstools helfen, beheben das Problem aber nicht. Stanford RegLabs vorab registrierter Test vom Mai 2024 ergab, dass die KI-Recherchetools von LexisNexis und Thomson Reuters jeweils zwischen 17% und 33% der Zeit halluzinierten.
Auch Berater sind nicht immun. Deloitte Australia erklärte sich im Oktober 2025 bereit, die letzte Rate eines Regierungsauftrags über A$440,000 zurückzuzahlen, berichtete die Associated Press. Ein Forscher der University of Sydney hatte in dem 237 Seiten langen Bericht bis zu 20 Fehler gefunden, darunter ein erfundenes Zitat aus einem Bundesgerichtsurteil. Der überarbeitete Bericht legte offen, dass Azure OpenAI beim Schreiben eingesetzt wurde.
Bei der Arbeit sind die Kosten leiser. In einer Umfrage von KPMG und der University of Melbourne unter 48,000 Menschen in 47 Ländern, veröffentlicht im April 2025, sagten 66% der Beschäftigten, die KI nutzen, sie verließen sich auf deren Ergebnisse, ohne sie zu prüfen. Und 56% sagten, sie hätten wegen KI Fehler in ihrer Arbeit gemacht.
Wie wir diese Zahlen zusammengestellt haben
Wir haben jede Zahl auf dieser Seite am 6. Oktober 2026 an ihrer Primärquelle geöffnet, und das sind die Quellen, die wir genutzt haben:
- Vectaras GitHub-Leaderboard, mit aktuellem und vorherigem Datensatz
- Artificial Analysis' AA-Omniscience-Seite und der Launch-Beitrag vom November 2025
- OpenAIs Studie, System Cards und Startseiten
- NewsGuards AI False Claims Monitor
- Der Bericht von EBU und BBC zur News Integrity und das Tow Center der Columbia University
- Damien Charlotins Datenbank und die Akte zu Mata v. Avianca
- Stanford RegLabs Studie und die Umfrage von KPMG und der University of Melbourne
- Fortune und die Associated Press, für zwei Ereignisse, die die Unternehmen nicht selbst veröffentlichten
Einige Zahlen sind unsere eigene Rechnung. Der Median von 9.6% und die Zahl von 50 Modellen stammen aus Vectaras Tabelle vom 22. September 2026. Der Paarvergleich ordnet Modelle zu, die auf den Tabellen von Oktober 2025 und September 2026 unter demselben Namen stehen. Wir haben jeden Namen weggelassen, der auf der alten Tabelle zwei Versionen oder keine klare Version hatte, wodurch GPT-4o, DeepSeek R1, DeepSeek V3, Command R Plus und Mistral Large entfallen. Llama 3.3 70B wird zwischen dem Instruct-Build der alten und dem Turbo-Build der neuen Tabelle zugeordnet. Der Median von 49.8% umfasst die 30 Konfigurationen, die Artificial Analysis standardmäßig zeigt, und manche sind ein Modell mit zwei Reasoning-Stufen. Die Gesamtzahlen der Gerichtsfälle für 2025 und 2026 addieren Charlotins Quartalszahlen.
Was wir nicht zurückverfolgen konnten, haben wir weggelassen. Viele Statistikseiten wiederholen die Behauptung, KI-Halluzinationen hätten Unternehmen 2024 $67.4 Milliarden gekostet. Die Kopien, die wir fanden, nennen die Website AllAboutAI, und wir fanden keine Primärstudie dahinter. Ebenso haben wir zwei OpenAI-Browsing-Werte ausgelassen, die nur als Diagrammbeschriftung in der GPT-5 System Card stehen, weil wir nicht sicher jede Beschriftung ihrem Modell zuordnen konnten.
So zitierst du diese KI-Halluzinationsstatistiken
Jede Zahl auf dieser Seite darf mit einem Link zurück auf diese Seite frei verwendet werden. Eine schlichte Quellenzeile genügt:
- Quelle: Whizi Research, "AI hallucination statistics 2026: rates across 108 models, and why the tests disagree", whizi.io/resources/ai-hallucination-statistics, Stand Oktober 2026.
Wenn du eine Rate zitierst, nenne Benchmark und Datum daneben. Eine Vectara-Zahl und eine AA-Omniscience-Zahl für dasselbe Modell können sich fast um das Sechsfache unterscheiden. Unsere Seiten ChatGPT-Statistiken, KI-Chatbot-Marktanteile, LLM-API-Preisstatistiken und KI-Abo-Statistiken folgen denselben Quellenregeln.
- Nenne den Benchmark: Ein Zusammenfassungstest, ein Gedächtnistest und ein Nachrichten-Audit messen verschiedene Fehler
- Gib Datum und Datensatz an, denn Vectaras Tabellen von 2025 und 2026 sind nicht vergleichbar
- Prüfe den Nenner: alle Antworten, nur die Fehlversuche oder jede Zusammenfassung
- Sag, wer den Test durchgeführt hat, der Anbieter oder ein unabhängiges Labor
- Öffne die Primärquelle und streiche jede Zahl, die du nicht auf eine zurückführen kannst
Häufige Fragen
Wie hoch ist die Halluzinationsrate von ChatGPT?
OpenAIs GPT-6 Astra und GPT-6 Sol erreichen je nach Test zwischen 4.2% und 60.1%. Auf Vectaras Leaderboard vom September 2026 fügt GPT-6 Sol 6.5% seiner Zusammenfassungen unbelegte Aussagen hinzu und GPT-6 Astra 8.7%. OpenAI nennt für Astra 4.2% im eigenen Benchmark mit markierten Gesprächen. Bei AA-Omniscience beantwortet Astra im Oktober 2026 44.8% bis 51.3% der schweren Fragen, die es verfehlt, falsch, und GPT-6 Sol tut das bei 60.1% davon.
Welches KI-Modell halluziniert am wenigsten?
Finix S1 32B von Ant Group halluziniert in Vectaras Zusammenfassungstest am wenigsten, mit 1.8% im September 2026, und OpenAIs GPT-5.4 nano ist mit 3.1% das niedrigste eines großen Anbieters. Bei schweren Fragen, die aus dem Gedächtnis beantwortet werden müssen, hat Googles Gemini 4 Argon mit 15.1% im Oktober 2026 die niedrigste Rate der 30 Spitzenkonfigurationen, die Artificial Analysis zeigt.
Wie viele Gerichtsfälle betreffen KI-Halluzinationen?
Damien Charlotins Datenbank listete am 6. Oktober 2026 2,149 Gerichtsentscheidungen mit KI-erfundenem Material, davon 1,473 in den USA. In 1,233 Einträgen kommt eine Partei ohne Anwalt vor, in 854 ein Anwalt und in 33 ein Richter. Die Entscheidungen von Januar bis September 2026 übertreffen die des gesamten Jahres 2025 bereits, mit 1,208 gegenüber 852.
Halluzinieren KI-Modelle weniger als früher?
In einem festen Test meist ja. OpenAI berichtete, dass GPT-5 und GPT-6 Astra jeweils weniger Sachfehler machten als ihre Vorgänger, und die Nachrichten-Audits der BBC sanken von 51% auf 37% der Antworten mit erheblichem Mangel. Die Tests werden aber immer schwerer, sodass sich eine Rate von 2025 und eine von 2026 selten vergleichen lassen. Als Vectara seinen Datensatz änderte, schnitten 39 von 44 unveränderten Modellen schlechter ab.