ChatGPT kaynakça uyduruyor mu? Evet: çalışmaya göre atıfların 7% ila 69%'u

ChatGPT ne sıklıkla kaynak uydurur? Modele ve yıla göre atıfların 7% ila 69%'u

ChatGPT, hangi modele ve hangi yıla baktığına göre, ürettiği atıfların 7% ila 69%'unda ölçülmüş bir oranla kaynak uydurur. En eski ölçüm en kötüsüdür: Gravel ve arkadaşları 2023 başında ChatGPT'ye tıbbi sorular sordu ve 59 referansın 41'inin, yani 69%'unun uydurma olduğunu buldu. En yeni ölçüm en iyisidir: Bernstein ve arkadaşları 2026 başında tarama açık ChatGPT-5'ten 70 ortopedi kılavuzu önerisinin dayanaklarını istedi ve 7.13%'ünün var olmadığını buldu. Hiçbir çalışma sıfır bulmadı; bizim testimizde de sorunsuz çözülen bir DOI yanlış makaleye çıktı.

Dört satır, dört farklı görevli dört farklı çalışmadır; bu yüzden grafiği bir eğri olarak değil, bir yön olarak oku. Aşağıdaki tablo, kaynağında açabildiğimiz her çalışmayı gösteriyor: modelin sorgulandığı yıl, örneklem ve var olmayan atıfların payı. Tıbbi, hukuki ve genel akademik referansların hepsi burada, çünkü hata her alanda aynı.

Bu tablodaki iki şey, manşet oranlardan daha önemli. Birincisi, uydurma payı hasarın yalnızca yarısıdır: Walters ve Wilder çalışmasında "GPT-3.5 atıflarının 55%'i, ancak GPT-4 atıflarının yalnızca 18%'i uydurmadır. Aynı şekilde, gerçek (uydurma olmayan) GPT-3.5 atıflarının 43%'ü, ancak gerçek GPT-4 atıflarının yalnızca 24%'ü esaslı atıf hataları içerir." Yanlış yıl, cilt veya yazarla var olan bir referans da aynı hakemde kalır. İkincisi, oran konunun ne kadar sönük olduğuna göre değişir. Linardon ve arkadaşları GPT-4o'dan üç bozukluk hakkında derleme istedi ve majör depresyonda 6%, tıkınırcasına yeme bozukluğunda 28%, beden dismorfik bozukluğunda 29% uydurma atıf aldı. Sorun ne kadar dar olursa, yanıtın o kadarı tahmindir.

ChatGPT neden kaynak uydurur? Kaydı değil, atfın biçimini yazar

ChatGPT kaynak uydurur, çünkü en olası sonraki kelimeleri üretir ve atıf çok düzenli bir dizgedir: soyadı, baş harfler, yıl, başlık, dergi, cilt, sayfalar, DOI. Bu kalıbın her parçasını sürdürmek kolaydır ve hiçbiri bir yerden aranmaz. Referansı yazan model hiçbir veritabanı açmadı; bu yüzden süreçte gerçek bir kaydı, düzgün biçimlendirilmiş bir kayıttan ayıracak hiçbir şey yok.

OpenAI'nin kendi araştırmacıları mekanizmanın ikinci yarısının eğitim olduğunu söylüyor. Why Language Models Hallucinate (Kalai, Nachum, Vempala ve Zhang, Eylül 2025) çalışmasının özeti şöyle başlar: "Zor sınav soruları karşısındaki öğrenciler gibi, büyük dil modelleri de emin olmadıklarında bazen tahmin yürütür; belirsizliği kabul etmek yerine kulağa makul gelen ama yanlış ifadeler üretir." Tesadüfen doğru çıkan tahmin atıf puan getirir; "bilmiyorum" hiçbir şey getirmez; model de tahmin etmeyi öğrenir. Yapay zeka halüsinasyonunun ne olduğu yazısı bu makaleyi ayrıntılı ele alıyor.

Uydurmalar nadiren rastgeledir. Aşağıdaki testimizde model, 2006'da Journal of Adolescent Health'te kafein ve ergenler üzerine gerçekten yayın yapmış gerçek bir yazar çifti verdi, sonra yanlış başlığı, yanlış sayıyı, yanlış sayfaları ve başka bir makaleye ait bir DOI'yi yazdı. Her alan, gerçeğin çevresinden çekilmişti. Sahte bir atıf bu yüzden bir bakışta fark edilmez ve dördüncü bölümdeki kontroller bu yüzden atfı hafızanla değil, alanları birbiriyle karşılaştırarak sınar.

Web araması ChatGPT'nin kaynak uydurmasını durdurur mu? Oranı düşürür, sıfırlamaz

Web araması uydurma atıfları belirgin biçimde azaltır ama ortadan kaldırmaz. Tarama açık ChatGPT-5, Bernstein ve arkadaşlarının 2026 çalışmasında 2,736 referansın yine 7.13%'ünü uydurdu; çalışmanın özeti şöyle biter: "Atıf hataları ve uydurma referanslar ChatGPT-5'te sürüyor. Bu nedenle üretilen referansların bağımsız doğrulanması gerekli olmaya devam ediyor." Aramayla güçlendirilmiş modellerin ve deep research ajanlarının atıf yaptığı 53,090 URL arasında Rao, Wong ve Callison-Burch (Nisan 2026), 3% ila 13%'ünün var olmayan sayfalara işaret ettiğini ve en çok atıf yapan ajanların en çok halüsinasyon gördüğünü buldu. Geri getirmenin yerleşik olduğu hukukta, Stanford'dan Magesh ve arkadaşları (2024), Lexis+ AI ve Thomson Reuters araçlarının "her biri zamanın 17% ila 33%'ünde halüsinasyon görüyor" sonucuna vardı.

Karşılaştırmayı 27 Eylül 2026'da kendimiz yaptık: Whizi üzerinden GPT-5.6 Luna ile, web aramasının yazma alanında bir düğme olduğu yerde. Tek bir prompt iki kez gönderildi, biri arama kapalı, biri açık: "List five peer-reviewed journal articles on caffeine and sleep latency in adolescents. For each give authors, year, article title, journal, volume, pages and DOI." Sonra her DOI doi.org'a ve Crossref API'sine gitti, dönen kayıt modelin yazdığıyla alan alan karşılaştırıldı.

İki çalıştırma da beş atıf üretmedi. Arama kapalıyken model iki tane verdi ve gerisini reddetti; DOI ayrıntılarını "uydurmak veya yanlış aktarmak istemediğini" yazdı. Arama açıkken PubMed bağlantılarıyla üç tane verdi ve sonuçların iki tanesini daha desteklemediğini söyledi. Tek kötü atıf arama kapalı çalıştırmadan geldi ve öğretici türden: DOI çözülüyor, yani yalnızca DOI kontrolü bunu geçirir; ancak iniş sayfasındaki başlığı okumak yakalar. İki uyarı. Bu test, kendi sistem prompt'u devrede olan Whizi üzerinden yapıldı; yani tek tarihte tek model, bir oran değil. Ve Whizi bu sayfanın konusunda eksik: Eylül 2026 itibarıyla bir atıf denetleyicisi yok, yani yanıttaki bağlantıyı yine kendin açarsın; 280+ modelinin bu görevdeki başarısı da kimse tarafından ölçülmedi, bu yüzden model seçici hangisinin en az uydurduğunu söyleyemez. Web araması düğmesi ise modele alıntılayacak canlı sayfalar verir; doğrulanan üç referans da buradan geldi.

Bir ChatGPT atfını 60 saniyede nasıl kontrol edersin? Bu sırayla dört adım

Bir ChatGPT atfını, alanlarını bir veritabanına karşı sınayarak kontrol edersin: tam başlığı ara, DOI'yi çöz ve iniş sayfasını oku, cildi ve sayfaları derginin yılıyla eşleştir, sonra yazarın yayın listesini aç. Her adım bir öncekinin kaçırdığı hatayı yakalar ve iki kez yaptıktan sonra bütün sıra referans başına yaklaşık bir dakika sürer.

1. Tam başlık araması. Başlığı çift tırnak içinde Google Scholar'a veya Crossref arama kutusuna yapıştır. Gerçek bir makale tek bir kez ve aynı yazarlarla çıkar. Sonuç yoksa ya da yazarlar farklıysa kontrol biter: atıf yazıldığı haliyle kullanılamaz.
2. DOI'yi çöz, sonra oku. DOI'yi https://doi.org/ sonrasına yapıştır. 404, DOI'nin uydurma olduğu anlamına gelir. Yüklenen bir sayfa henüz geçti demek değildir, o yüzden üstündeki başlığı oku. Orbeta atfımız sorunsuzca HPV hakkında bir makaleye çözüldü ve Crossref kaydı, modelin yazdığı 38(3), 2006 yerine cilt 37, sayı 6, 2005 gösterdi.
3. Cilt ve sayfalar, yıla karşı. Derginin sitesinde atfın adını verdiği cildi aç, yılı ve sayfa aralığını doğrula. Walters ve Wilder, GPT-4'ün gerçek atıflarının 24%'ünde esaslı bir alanın yanlış olduğunu buldu ve yanlışlar burada ortaya çıkar.
4. Yazarın yayın listesi. İlk yazarın Google Scholar profilini, ORCID kaydını veya bölüm sayfasını aç ve makaleyi orada bul. Hiç birlikte yazmamış iki gerçek yazar yaygın bir uydurmadır ve bu adıma kadar görünmez.

Model tanımlayıcıları vermek zorunda kalırsa kontrol daha hızlı olur. Kaynak isteyen her isteğe şu satırı ekle: "Her referans için DOI ve PubMed ID ver, DOI veremediğin her referansı doğrulanmamış diye işaretle." Araması açık bir model bağlantıları ekler; araması kapalı bir model ya çözebileceğin DOI'ler verir ya da hiç olmadığını kabul eder; bizim testimizde yaptığı buydu. Modele kendi atfının gerçek olup olmadığını asla sorma: onay, atfın üretildiği şekilde üretilir. Yapay zeka yanıtları nasıl doğrulanır iddialar, rakamlar ve alıntılar için genel iki dakikalık yöntemdir; bu sıra onun atfa özgü kısmıdır.

Göndereceğin, dosyalayacağın veya yayımlayacağın bir referans için dört adımı da yap. Yalnızca okuyacağın biri için, okumaya devam edip etmemeye karar vermeye 1. adım yeter.

ChatGPT güvenilir bir kaynak mı? Atfın kendisi için değil, ve mahkemeler bunun bedelini biçti

ChatGPT bir atıf için güvenilir kaynak değildir, çünkü atıf bir kayıt hakkında bir iddiadır, kaydın kendisi değil; gerçek kayıtlarını sonra açacağın aday makaleleri bulmanın hızlı bir yoludur. Bu ayrımın işleyen bir faturası var. Damien Charlotin'in veritabanı, bir tarafın halüsinasyonlu materyale dayandığı mahkeme kararlarını listeliyor; 27 Eylül 2026 itibarıyla 2,086 dava vardı, 1,430'u Amerika Birleşik Devletleri'nde, 828'i avukatlarca ve 33'ü hâkimlerce yapılmış başvurulardı. Bunlar bir mahkemenin yakalayıp yazdığı dosyalar. Yapay zeka neden yanılır yazısı, hiçbir hâkime ulaşmayan hataları ele alıyor.

Karar kuralı şu: sohbet modelinden gelen bir atıf, bir veritabanı aksini söyleyene kadar bir ipucudur ve bir ipucu tam olarak kontrolünün sürdüğü o dakikaya değer.