Sumber ChatGPT: apakah ChatGPT mengarang sumber? Ya, 7% sampai 69% sitasinya, menurut studi

Seberapa sering ChatGPT mengarang sumber? 7% sampai 69% sitasi, tergantung model dan tahunnya

ChatGPT mengarang sumber dengan tingkat terukur 7% sampai 69% dari sitasi yang dihasilkannya, tergantung model dan tahun yang Anda lihat. Pengukuran tertua adalah yang terburuk: Gravel dan rekan-rekannya mengajukan pertanyaan medis ke ChatGPT pada awal 2023 dan menemukan 41 dari 59 referensinya, 69%, adalah rekaan. Yang terbaru adalah yang terbaik: Bernstein dan rekan-rekannya meminta ChatGPT-5 dengan browsing aktif memberi referensi untuk 70 rekomendasi pedoman ortopedi pada awal 2026 dan menemukan 7,13% tidak ada. Tidak ada studi yang menemukan nol, dan dalam uji kami sendiri sebuah DOI yang terbuka dengan baik justru mengarah ke makalah yang salah.

Keempat baris itu adalah empat studi berbeda dengan empat tugas berbeda, jadi baca grafik ini sebagai arah, bukan kurva. Tabel di bawah memuat setiap studi yang bisa kami buka di sumbernya, lengkap dengan tahun model ditanyai, sampelnya, dan persentase sitasi yang tidak ada. Referensi medis, hukum, dan akademik umum semuanya ada di sini karena kegagalannya sama di setiap bidang.

Dua hal dalam tabel itu lebih penting daripada angka utamanya. Pertama, bagian yang direka hanyalah separuh kerusakannya: dalam Walters dan Wilder, "55% sitasi GPT-3.5 tetapi hanya 18% sitasi GPT-4 yang direka. Demikian pula, 43% sitasi GPT-3.5 yang asli (tidak direka) tetapi hanya 24% sitasi GPT-4 yang asli memuat kesalahan sitasi yang substantif." Referensi yang ada tetapi dengan tahun, volume, atau penulis yang salah akan gagal di mata peninjau yang sama. Kedua, angkanya bergerak mengikuti seberapa langka topiknya. Linardon dan rekan-rekannya meminta GPT-4o menyusun tinjauan tentang tiga gangguan dan mendapat 6% sitasi rekaan untuk depresi mayor, 28% untuk gangguan makan berlebihan, dan 29% untuk gangguan dismorfik tubuh. Makin sempit pertanyaan Anda, makin banyak bagian jawaban yang hanya ditebak.

Mengapa ChatGPT mengarang sumber? Ia menulis bentuk sitasi, bukan catatannya

ChatGPT mengarang sumber karena ia menghasilkan kata berikutnya yang paling mungkin, dan sitasi adalah untaian yang sangat teratur: nama belakang, inisial, tahun, judul, jurnal, volume, halaman, DOI. Setiap bagian pola itu mudah dilanjutkan dan tidak ada yang dicari. Model yang menulis referensi itu tidak pernah membuka basis data, jadi tidak ada yang dalam prosesnya bisa membedakan catatan yang nyata dari yang hanya berbentuk benar.

Peneliti OpenAI sendiri mengatakan bahwa separuh kedua mekanismenya adalah pelatihan. Dalam Why Language Models Hallucinate (Kalai, Nachum, Vempala dan Zhang, September 2025), abstraknya dibuka dengan: "Seperti siswa yang menghadapi soal ujian sulit, model bahasa besar terkadang menebak saat tidak yakin, menghasilkan pernyataan yang masuk akal tetapi keliru alih-alih mengakui ketidakpastian." Sitasi tebakan yang kebetulan benar mendapat skor; "saya tidak tahu" tidak mendapat apa-apa; jadi model belajar menebak. Apa itu halusinasi AI membahas makalah itu secara lengkap.

Rekaan itu jarang acak. Dalam uji kami di bawah, model memberi sepasang penulis nyata yang memang menerbitkan di Journal of Adolescent Health pada 2006 tentang kafein dan remaja, lalu menulis judul yang salah, edisi yang salah, halaman yang salah, dan DOI milik artikel lain. Setiap kolom diambil dari sekitar kebenaran. Itulah sebabnya sitasi palsu lolos dari sekilas pandang, dan mengapa pemeriksaan di bagian keempat menguji kolom-kolomnya satu sama lain, bukan sitasi terhadap ingatan Anda.

Apakah pencarian web menghentikan ChatGPT mengarang sumber? Ia menurunkan angkanya, tidak sampai nol

Pencarian web memangkas sitasi rekaan secara tajam dan tidak menghilangkannya. ChatGPT-5 dengan browsing aktif masih mengarang 7,13% dari 2.736 referensi dalam studi Bernstein dan rekan-rekannya tahun 2026, yang abstraknya ditutup dengan: "Kesalahan sitasi dan referensi rekaan masih ada di ChatGPT-5. Verifikasi independen atas referensi yang dihasilkan karena itu tetap diperlukan." Dari 53.090 URL yang dikutip model dengan tambahan pencarian dan agen deep research, Rao, Wong dan Callison-Burch (April 2026) menemukan 3% sampai 13% mengarah ke halaman yang tidak ada, dan agen yang paling banyak mengutip paling banyak berhalusinasi. Di bidang hukum, tempat pengambilan data sudah tertanam, Magesh dan rekan-rekannya dari Stanford (2024) menemukan alat Lexis+ AI dan Thomson Reuters "masing-masing berhalusinasi antara 17% dan 33% dari waktu".

Kami menjalankan perbandingannya sendiri pada 27 September 2026, pada GPT-5.6 Luna lewat Whizi, tempat pencarian web berupa sakelar di kotak penulisan. Satu prompt, dikirim dua kali, sekali dengan pencarian mati dan sekali dengan pencarian hidup: "List five peer-reviewed journal articles on caffeine and sleep latency in adolescents. For each give authors, year, article title, journal, volume, pages and DOI." Lalu setiap DOI dibuka di doi.org dan di API Crossref, dan catatan yang kembali dibandingkan kolom demi kolom dengan yang ditulis model.

Tidak satu pun uji menghasilkan lima. Dengan pencarian mati, model memberi dua dan menolak sisanya, menulis bahwa ia tidak ingin "mengarang atau salah menyebut detail DOI"; dengan pencarian hidup ia memberi tiga lengkap dengan tautan PubMed dan menyatakan hasilnya tidak mendukung dua lagi. Satu-satunya sitasi buruk datang dari uji dengan pencarian mati, dan jenisnya mengajarkan sesuatu: DOI-nya terbuka, sehingga pemeriksaan DOI saja meloloskannya, dan hanya membaca judul di halaman tujuan yang menangkapnya. Dua catatan. Uji ini berjalan lewat Whizi, yang prompt sistemnya sendiri ikut berperan, jadi ini satu model pada satu tanggal dan bukan sebuah tingkat. Dan Whizi kalah dalam hal yang dibahas halaman ini: per September 2026 ia belum punya pemeriksa sitasi, jadi tautan di jawaban tetap tautan yang Anda buka sendiri, dan belum ada yang mengukur 280+ modelnya pada tugas ini, jadi pemilih model tidak bisa memberi tahu mana yang paling jarang mengarang. Yang dilakukan sakelar pencarian web adalah memberi model halaman hidup untuk dikutip, dan dari situlah tiga referensi yang terverifikasi itu berasal.

Bagaimana cara memeriksa sitasi ChatGPT dalam 60 detik? Empat langkah, dengan urutan ini

Anda memeriksa sitasi ChatGPT dengan menguji kolom-kolomnya terhadap basis data: cari judul persisnya, buka DOI dan baca halaman tujuannya, cocokkan volume dan halaman dengan tahun jurnal, lalu buka daftar publikasi penulisnya. Setiap langkah menangkap kegagalan yang terlewat oleh langkah sebelumnya, dan seluruh urutannya memakan sekitar satu menit per referensi setelah Anda melakukannya dua kali.

1. Cari judul persis. Tempel judul dalam tanda kutip ganda ke Google Scholar atau kotak pencarian Crossref. Makalah yang asli muncul sekali, dengan penulis yang sama. Tidak ada hasil, atau hasil dengan penulis berbeda, mengakhiri pemeriksaan: sitasi itu tidak bisa dipakai apa adanya.
2. Buka DOI, lalu baca. Tempel DOI setelah https://doi.org/. Galat 404 berarti DOI itu rekaan. Halaman yang terbuka belum berarti lolos, jadi baca judul di dalamnya. Sitasi Orbeta kami terbuka dengan baik ke makalah tentang HPV, dan catatan Crossref menunjukkan volume 37, edisi 6, 2005, sedangkan model menulis 38(3), 2006.
3. Volume dan halaman terhadap tahun. Di situs jurnal, buka volume yang disebut sitasi dan pastikan tahun serta rentang halamannya. Walters dan Wilder menemukan 24% sitasi asli GPT-4 salah di kolom yang substantif, dan di sinilah yang salah itu tampak.
4. Daftar publikasi penulis. Buka profil Google Scholar, catatan ORCID, atau halaman departemen penulis pertama dan temukan makalahnya di sana. Dua penulis nyata yang tidak pernah menulis bersama adalah rekaan yang umum, dan tidak terlihat sampai langkah ini.

Pemeriksaan lebih cepat jika model harus memberi Anda pengenalnya. Tambahkan baris ini ke setiap permintaan sumber: "Berikan DOI dan PubMed ID untuk setiap referensi, dan tandai referensi yang tidak bisa Anda beri DOI-nya sebagai belum terverifikasi." Model dengan pencarian hidup akan melampirkan tautannya; model dengan pencarian mati akan memberi DOI yang bisa Anda buka atau mengaku tidak punya, dan itulah yang terjadi dalam uji kami. Jangan pernah bertanya kepada model apakah sitasinya sendiri nyata: konfirmasinya dihasilkan dengan cara yang sama seperti sitasinya. Cara memeriksa fakta jawaban AI adalah metode dua menit yang umum untuk klaim, angka, dan kutipan; urutan ini adalah bagian khusus sitasi darinya.

Untuk referensi yang akan Anda serahkan, ajukan, atau terbitkan, lakukan keempat langkah. Untuk yang hanya Anda baca, langkah 1 cukup untuk memutuskan apakah layak dibaca lebih lanjut.

Apakah ChatGPT sumber yang kredibel? Tidak untuk sitasinya, dan pengadilan sudah menghitung harganya

ChatGPT bukan sumber yang kredibel untuk sebuah sitasi, karena sitasi adalah klaim tentang sebuah catatan, bukan catatannya; ia cara cepat menemukan makalah kandidat yang catatan aslinya lalu Anda buka. Perbedaan itu punya tagihan yang terus berjalan. Basis data Damien Charlotin tentang putusan pengadilan yang salah satu pihaknya mengandalkan bahan halusinasi mencatat 2.086 kasus per 27 September 2026, 1.430 di antaranya di Amerika Serikat, 828 diajukan pengacara, dan 33 oleh hakim. Itu hanyalah berkas yang tertangkap dan dicatat pengadilan. Mengapa AI membuat kesalahan membahas kesalahan yang tidak pernah sampai ke hakim.

Jadi aturan keputusannya: sitasi dari model obrolan adalah petunjuk sampai basis data berkata lain, dan petunjuk itu bernilai tepat semenit yang diperlukan untuk memeriksanya.