Statistik halusinasi AI 2026: tingkat di 108 model, dan mengapa hasil uji saling berbeda

Model AI menambahkan klaim tanpa dasar pada 1.8% sampai 24.2% ringkasan, dan menebak salah hingga 96.5% pertanyaan sulit yang tidak mereka kuasai

Kami membuka setiap statistik halusinasi AI di bawah ini pada sumber primernya pada 6 Oktober 2026. Median dan jumlah model yang dicocokkan adalah hitungan kami sendiri dari tabel yang dipublikasikan Vectara.

Grafik ini memetakan AA-Omniscience sebagaimana ditampilkan Artificial Analysis pada 6 Oktober 2026, pada pengaturan penalaran tertinggi yang tercantum untuk tiap model. Sumbu bawah adalah akurasi pada 6,000 pertanyaan sulit. Sumbu samping adalah tingkat halusinasi: dari pertanyaan yang tidak dijawab benar oleh model, porsi yang dijawab salah alih-alih mengaku tidak tahu. Claude Fable 5.1 milik Anthropic paling banyak tahu, dengan 67.2% benar. Tetap saja ia menjawab 72.6% kesalahannya dengan sesuatu yang keliru. Gemini 4 Argon milik Google menjawab lebih sedikit yang benar, 49.9%, dan berada di 15.1% karena jauh lebih sering menolak menjawab. Tahu dan menebak adalah dua kemampuan yang terpisah.

Berapa tingkat halusinasi AI per model?

Di papan peringkat Vectara, tingkat halusinasi AI per model berkisar dari 1.8% untuk Finix S1 32B milik Ant Group hingga 24.2% untuk Ministral 3 3B milik Mistral, dan model median berada di 9.6%. Vectara memberi setiap model kumpulan yang sama berisi lebih dari 7,700 artikel dan menghitung seberapa sering ringkasannya mengklaim sesuatu yang tidak dikatakan artikel. Tidak satu pun mendapat skor nol.

Setiap baris di sini berasal dari papan Vectara per 22 September 2026, dan daftar lengkap 108 model ada di halaman GitHub Vectara. Model kecil sebuah lab sering lebih baik dalam hal ini daripada model andalannya: GPT-5.4 nano milik OpenAI mendapat 3.1%, sedangkan GPT-5.6 Sol mendapat 12.4%. Yang lebih baru juga belum tentu lebih rendah. Claude Opus 4.7 milik Anthropic, di 12.0%, berada di atas Claude Sonnet 4.6 yang lebih lama. Vectara terbuka soal keterbatasan ujinya. FAQ-nya mengakui bahwa model yang menyalin kalimat langsung dari artikel akan mendapat skor sempurna.

Satu model yang sama bisa membawa tiga angka yang sangat berbeda. Halaman peluncuran GPT-6 Astra dari OpenAI, bertanggal 3 September 2026, melaporkan 4.2% pada tolok ukur internal. Vectara mengukurnya di 8.7%, dan Artificial Analysis menempatkannya di 44.8% sampai 51.3%, tergantung pengaturan penalaran yang dipakai. Tidak satu pun dari ketiganya salah. Masing-masing menanyakan hal yang berbeda.

Mengapa tolok ukur halusinasi AI saling berbeda?

Tolok ukur halusinasi AI saling berbeda karena masing-masing menguji kegagalan yang berbeda, pada tugas yang berbeda, dengan pembagi yang berbeda. Baca definisinya sebelum mengutip angkanya.

Para peneliti OpenAI berpendapat pada September 2025 bahwa cara model dinilai memperburuk hal ini. Tulisan mereka menyatakan "standard training and evaluation procedures reward guessing over acknowledging uncertainty." Angka SimpleQA yang mereka pakai untuk menunjukkannya sangat mencolok. o4-mini lama dari OpenAI menjawab benar 24% pertanyaan dan salah 75%, dan hanya menolak 1%. gpt-5-thinking-mini yang lebih baru menjawab benar 22%, tetapi menolak 52% dan salah hanya 26%. Pada papan skor yang hanya menghitung jawaban benar, si penebak yang menang.

Itu sebabnya satu "tingkat halusinasi" tunggal untuk sebuah model tidak ada. Pembaca yang ingin melihat dua lab berbeda pendapat bisa mengirim satu pertanyaan ke dua dari 280+ model Whizi di tampilan berdampingan, dan mengapa AI bisa salah membahas cara memeriksa jawaban yang muncul.

Apakah tingkat halusinasi AI menurun dari waktu ke waktu?

Pada satu uji yang tetap, tingkat halusinasi AI sebagian besar memang turun. Namun ujinya terus menjadi lebih sulit, sehingga angka utama bisa naik padahal modelnya makin baik. Papan peringkat Vectara memperlihatkan efek kedua ini dengan jelas.

Antara Oktober 2025 dan September 2026, Vectara mengganti dataset-nya dengan lebih dari 7,700 artikel, sebagian sepanjang 24,000 kata, dan memindahkan jurinya dari HHEM-2.1 ke HHEM-2.3. Kami mencocokkan 44 model yang tercantum dengan nama sama di kedua papan, tanpa nama yang di papan lama muncul dalam dua versi. Tiga puluh sembilan mendapat skor lebih buruk pada uji baru. Empat lebih baik, dan DeepSeek V3.1 tidak bergerak. Median untuk 44 model naik dari 4.1% menjadi 7.95%, dengan setiap model tetap rilis yang sama seperti sebelumnya.

GPT-5 dari OpenAI pada tingkat usaha penalaran tinggi melonjak paling besar, dari 1.4% menjadi 15.1%. Jadi angka 2025 dan angka 2026 dari papan peringkat yang sama tidak bisa dibaca sebagai tren. Sebutkan tanggal dan dataset bersama angkanya.

Angka OpenAI sendiri sebagian besar menunjuk ke bawah, dengan satu pembalikan. System card April 2025 menunjukkan bahwa o3 berhalusinasi pada 33% pertanyaan PersonQA, dua kali lipat 16% milik o1 yang lebih lama, dan o4-mini pada 48%. Pada Agustus 2025 OpenAI menyatakan GPT-5 dengan thinking kira-kira 80% lebih kecil kemungkinannya membuat kesalahan faktual dibanding o3. Pada September 2026 halaman GPT-6 Astra menempatkan model itu di 4.2%, dibanding 12.2% untuk GPT-5.6 Sol. System card menyebut uji ini memakai percakapan yang telah ditandai pengguna, sehingga tingkatnya jauh di atas yang dilihat orang dalam pemakaian sehari-hari.

Angka peluncurannya sendiri bergeser. Fortune melaporkan pada 4 September 2026 bahwa OpenAI mengubah angka Astra dan GPT-5.6 Sol menjadi 2% dan 9.4% setelah halaman tayang, lalu mengembalikan 4.2% dan 12.2% yang semula ditampilkan. OpenAI mengatakan kepada Fortune bahwa perubahan itu dibuat untuk memastikan angkanya adalah perkiraan terbaik mereka.

Audit independen bergerak ke dua arah. NewsGuard menemukan chatbot mengulang klaim berita palsu 35% dari waktu pada Agustus 2025, naik dari 18% setahun sebelumnya, karena tingkat penolakan mereka turun dari 31% menjadi nol. Auditnya pada Januari 2026 menempatkan tingkat itu di atas 28%. Perbandingan BBC sendiri berjalan sebaliknya: jawaban dengan masalah signifikan turun dari 51% pada studi pertamanya menjadi 37% pada putaran yang diterbitkan EBU pada Oktober 2025.

Artificial Analysis menemukan pada November 2025 bahwa semua model kecuali tiga lebih mungkin berhalusinasi daripada menjawab benar pada pertanyaan sulitnya. Pada Oktober 2026, 15 dari 30 konfigurasi terdepan yang ditampilkannya secara bawaan masih menjawab salah lebih dari separuh kesalahannya. Mediannya 49.8%.

Seberapa sering asisten AI keliru soal berita?

Asisten AI memberi jawaban yang cacat secara signifikan pada 45% pertanyaan berita dalam studi EBU dan BBC yang terbit 21 Oktober 2025, dijalankan oleh 22 lembaga penyiaran publik di 18 negara. EBU menyebutnya salah satu evaluasi terbesar sejenisnya.

Jurnalis meninjau 2,709 jawaban dari ChatGPT, Copilot, Gemini dan Perplexity dalam 14 bahasa. Sumber menjadi masalah terbesar. Pada 31% jawaban ada masalah sumber yang serius, seperti sumber yang hilang, salah atau keliru dikaitkan. Satu dari lima punya masalah akurasi besar, termasuk detail karangan atau yang sudah usang. Gemini milik Google paling buruk, dengan masalah signifikan pada 76% jawabannya. Copilot menyusul di 37%, ChatGPT di 36% dan Perplexity di 30%.

Tow Center milik Columbia menjalankan 1,600 kueri lewat delapan alat pencarian AI dan meminta masing-masing menyebut artikel asal sebuah kutipan. Alat-alat itu memberi jawaban salah pada lebih dari 60% kueri, menurut tulisan Maret 2025. Perplexity salah pada 37%. Grok 3 milik xAI salah pada 94%.

Berapa biaya halusinasi AI di dunia nyata?

Biaya yang paling jelas muncul di pengadilan. Pada 6 Oktober 2026, basis data Damien Charlotin mencantumkan 2,149 putusan di mana pengadilan menangani materi karangan AI, dan 1,473 di antaranya terjadi di Amerika Serikat.

Sebagian besar melibatkan orang tanpa pengacara: 1,233 entri mencantumkan pihak yang mewakili diri sendiri. Pengacara mencakup 854 dan hakim 33. Data Charlotin menunjukkan 852 putusan bertanggal sepanjang 2025 dan 1,208 dari Januari sampai September 2026, jadi tahun ini sudah melampaui tahun lalu. Bila berkas menyebut alatnya, ChatGPT muncul di 139 dari 235 kasus. Dari 192 sanksi yang dinyatakan dalam dolar AS, enam mencapai $50,000 atau lebih.

Kasus terkenal yang pertama menetapkan harga yang rendah. Dalam Mata v. Avianca, seorang hakim federal di New York mendenda dua pengacara dan firmanya $5,000 pada 22 Juni 2023. Mereka mengutip enam putusan pengadilan yang dikarang ChatGPT.

Alat hukum berbayar membantu tetapi tidak menyelesaikannya. Uji praregistrasi Stanford RegLab, dirilis Mei 2024, menemukan alat riset AI dari LexisNexis dan Thomson Reuters masing-masing berhalusinasi antara 17% dan 33% dari waktu.

Konsultan pun tidak kebal. Deloitte Australia setuju pada Oktober 2025 untuk mengembalikan cicilan terakhir kontrak pemerintah senilai A$440,000, lapor Associated Press. Seorang peneliti University of Sydney menemukan hingga 20 kesalahan dalam laporan setebal 237 halaman itu, termasuk kutipan karangan dari putusan pengadilan federal. Laporan revisinya mengungkapkan bahwa Azure OpenAI dipakai untuk menulisnya.

Di tempat kerja, biayanya lebih senyap. Dalam survei KPMG dan University of Melbourne terhadap 48,000 orang di 47 negara, yang terbit April 2025, 66% karyawan pengguna AI mengaku mengandalkan keluarannya tanpa mengevaluasi. Dan 56% mengaku pernah membuat kesalahan dalam pekerjaan karena AI.

Cara kami menyusun angka-angka ini

Kami membuka setiap angka di halaman ini pada sumber primernya pada 6 Oktober 2026, dan inilah sumber yang kami pakai:

• Papan peringkat GitHub Vectara, pada dataset saat ini dan sebelumnya
• Halaman AA-Omniscience dari Artificial Analysis dan postingan peluncurannya pada November 2025
• Makalah, system card dan halaman peluncuran OpenAI
• AI False Claims Monitor dari NewsGuard
• Laporan News Integrity EBU dan BBC, serta Tow Center milik Columbia
• Basis data Damien Charlotin dan berkas perkara Mata v. Avianca
• Makalah Stanford RegLab dan survei KPMG dan University of Melbourne
• Fortune dan Associated Press, untuk dua peristiwa yang tidak dipublikasikan sendiri oleh perusahaannya

Sebagian angka adalah hitungan kami sendiri. Median 9.6% dan jumlah 50 model berasal dari tabel Vectara per 22 September 2026. Perbandingan yang dicocokkan memasangkan model yang tercantum dengan nama sama di papan Oktober 2025 dan September 2026. Kami mengecualikan nama yang punya dua versi di papan lama atau tanpa versi yang jelas, sehingga GPT-4o, DeepSeek R1, DeepSeek V3, Command R Plus dan Mistral Large tidak ikut. Llama 3.3 70B dicocokkan antara build Instruct di papan lama dan build Turbo di papan baru. Median 49.8% mencakup 30 konfigurasi yang ditampilkan Artificial Analysis secara bawaan, dan sebagian adalah satu model pada dua pengaturan penalaran. Total putusan pengadilan 2025 dan 2026 menjumlahkan hitungan kuartalan Charlotin.

Kami membuang apa yang tidak bisa dilacak. Banyak halaman statistik mengulang klaim bahwa halusinasi AI merugikan bisnis $67.4 miliar pada 2024. Salinan yang kami temukan mengutip situs AllAboutAI, dan kami tidak menemukan studi primer di baliknya. Kami juga membuang dua angka penelusuran web OpenAI yang hanya muncul sebagai label grafik di system card GPT-5, karena kami tidak bisa mencocokkan tiap label dengan modelnya secara meyakinkan.

Cara mengutip statistik halusinasi AI ini

Setiap angka di halaman ini boleh dipakai dengan tautan kembali ke halaman ini. Baris kredit sederhana sudah cukup:

• Sumber: Whizi Research, "AI hallucination statistics 2026: rates across 108 models, and why the tests disagree", whizi.io/resources/ai-hallucination-statistics, diperbarui Oktober 2026.

Saat mengutip sebuah tingkat, sertakan tolok ukur dan tanggalnya. Angka Vectara dan angka AA-Omniscience untuk model yang sama bisa berbeda hampir enam kali lipat. Halaman kami statistik ChatGPT, pangsa pasar chatbot AI, statistik harga API LLM dan statistik langganan AI mengikuti aturan sumber yang sama.