ChatGPT inventa le fonti? Sì: dal 7% al 69% delle citazioni, a seconda dello studio

Quanto spesso ChatGPT inventa le fonti? Dal 7% al 69% delle citazioni, a seconda del modello e dell'anno

ChatGPT inventa le fonti con un tasso misurato che va dal 7% al 69% delle citazioni prodotte, a seconda del modello e dell'anno considerato. La misurazione più vecchia è la peggiore: Gravel e colleghi hanno posto a ChatGPT domande mediche all'inizio del 2023 e hanno trovato 41 riferimenti su 59, il 69%, inventati. La più recente è la migliore: Bernstein e colleghi hanno chiesto a ChatGPT-5 con navigazione attiva i riferimenti di 70 raccomandazioni di linee guida ortopediche all'inizio del 2026 e hanno trovato che il 7.13% non esisteva. Nessuno studio ha trovato zero, e nella nostra prova un DOI che si risolveva senza errori portava all'articolo sbagliato.

Le quattro righe sono quattro studi diversi con quattro compiti diversi, quindi leggi il grafico come una direzione, non come una curva. La tabella qui sotto riporta ogni studio che abbiamo potuto aprire alla fonte, con l'anno in cui il modello è stato interrogato, il campione e la quota di citazioni che non esistevano. Ci sono riferimenti medici, legali e accademici generali perché il difetto è lo stesso in ogni campo.

Due cose in quella tabella contano più dei tassi in evidenza. Primo, la quota di citazioni fabbricate è solo metà del danno: in Walters e Wilder, "55% of the GPT-3.5 citations but just 18% of the GPT-4 citations are fabricated. Likewise, 43% of the real (non-fabricated) GPT-3.5 citations but just 24% of the real GPT-4 citations include substantive citation errors." Un riferimento che esiste ma con anno, volume o autori sbagliati delude lo stesso revisore. Secondo, il tasso cresce con l'oscurità dell'argomento. Linardon e colleghi hanno chiesto a GPT-4o delle revisioni su tre disturbi e hanno ottenuto il 6% di citazioni inventate sulla depressione maggiore, il 28% sul disturbo da alimentazione incontrollata e il 29% sul disturbo da dismorfismo corporeo. Più la domanda è ristretta, più la risposta è tirata a indovinare.

Perché ChatGPT inventa le fonti? Scrive la forma di una citazione, non il documento

ChatGPT inventa le fonti perché produce le parole successive più probabili, e una citazione è una stringa molto regolare: cognome, iniziali, anno, titolo, rivista, volume, pagine, DOI. Ogni parte di questo schema è facile da continuare e nessuna viene cercata da qualche parte. Il modello che ha scritto il riferimento non ha mai aperto un database, quindi nulla nel processo distingue un record reale da uno ben formato.

I ricercatori di OpenAI stessi dicono che la seconda metà del meccanismo è l'addestramento. In Why Language Models Hallucinate (Kalai, Nachum, Vempala e Zhang, settembre 2025), l'abstract si apre così: "Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty." Una citazione tirata a indovinare che per caso è giusta fa punteggio; "non lo so" non ne fa nessuno; così il modello impara a indovinare. Cos'è un'allucinazione dell'IA tratta quell'articolo per intero.

Le fabbricazioni raramente sono casuali. Nella nostra prova qui sotto il modello ha dato una coppia di autori reali che hanno davvero pubblicato sul Journal of Adolescent Health nel 2006 su caffeina e adolescenti, e poi ha scritto il titolo sbagliato, il fascicolo sbagliato, le pagine sbagliate e un DOI che appartiene a un altro articolo. Ogni campo era stato preso dalle vicinanze del vero. Per questo una citazione falsa regge a un'occhiata e per questo i controlli della quarta sezione mettono alla prova i campi l'uno contro l'altro invece di confrontare la citazione con la tua memoria.

La ricerca web impedisce a ChatGPT di inventare le fonti? Riduce il tasso, non lo azzera

La ricerca web riduce molto le citazioni fabbricate, ma non le elimina. ChatGPT-5 con navigazione attiva ha comunque inventato il 7.13% di 2,736 riferimenti nello studio di Bernstein e colleghi del 2026, il cui abstract si chiude così: "Citation errors and fabricated references persist in ChatGPT-5. Independent verification of generated references therefore remains necessary." Su 53,090 URL citati da modelli con ricerca integrata e agenti di deep research, Rao, Wong e Callison-Burch (aprile 2026) hanno trovato che dal 3% al 13% puntava a pagine inesistenti, e gli agenti che citano di più allucinano di più. In ambito legale, dove il recupero dei documenti è integrato, Magesh e colleghi di Stanford (2024) hanno trovato che Lexis+ AI e gli strumenti di Thomson Reuters "each hallucinate between 17% and 33% of the time".

Abbiamo fatto noi il confronto il 27 settembre 2026, su GPT-5.6 Luna tramite Whizi, dove la ricerca web è un interruttore nel campo di scrittura. Un solo prompt, inviato due volte, una con la ricerca spenta e una con la ricerca accesa: "List five peer-reviewed journal articles on caffeine and sleep latency in adolescents. For each give authors, year, article title, journal, volume, pages and DOI." Poi ogni DOI è andato su doi.org e sull'API di Crossref, e il record restituito è stato confrontato campo per campo con quello che il modello aveva scritto.

Nessuna delle due prove ha prodotto cinque articoli. Con la ricerca spenta il modello ne ha dati due e ha rifiutato il resto, scrivendo di non voler "inventare o travisare i dettagli del DOI"; con la ricerca accesa ne ha dati tre con i link a PubMed allegati e ha detto che i risultati non ne supportavano altri due. L'unica citazione sbagliata è venuta dalla prova a ricerca spenta, ed è del tipo istruttivo: il DOI si risolve, quindi il solo controllo del DOI la fa passare, e solo leggere il titolo nella pagina di destinazione la smaschera. Due avvertenze. La prova è passata da Whizi, il cui prompt di sistema entra in gioco, quindi è un solo modello in una sola data e non un tasso. E Whizi perde proprio sul tema di questa pagina: a settembre 2026 non ha un verificatore di citazioni, quindi un link nella risposta è ancora un link che apri tu, e nessuno ha misurato i suoi 280+ modelli su questo compito, perciò il selettore non può dirti quale inventa meno. Ciò che fa l'interruttore della ricerca web è dare al modello pagine in tempo reale da citare, ed è da lì che sono arrivati i tre riferimenti verificati.

Come si controlla una citazione di ChatGPT in 60 secondi? Quattro passaggi, in quest'ordine

Una citazione di ChatGPT si controlla mettendo alla prova i suoi campi contro un database: cerca il titolo esatto, risolvi il DOI e leggi la pagina di destinazione, confronta volume e pagine con l'annata della rivista, poi apri l'elenco delle pubblicazioni dell'autore. Ogni passaggio coglie un difetto che il precedente non vede, e l'intera sequenza richiede circa un minuto per riferimento dopo che l'hai fatta due volte.

1. Ricerca del titolo esatto. Incolla il titolo tra virgolette doppie in Google Scholar o nella casella di ricerca di Crossref. Un articolo reale compare una volta, con gli stessi autori. Nessun risultato, o un risultato con autori diversi, chiude il controllo: la citazione non è utilizzabile così com'è.
2. Risoluzione del DOI, poi lettura. Incolla il DOI dopo https://doi.org/. Un 404 significa che il DOI è stato inventato. Una pagina che si carica non è ancora un via libera, quindi leggi il titolo che mostra. La nostra citazione di Orbeta si risolveva senza errori su un articolo sull'HPV, e il record di Crossref indicava volume 37, fascicolo 6, 2005, contro il 38(3), 2006 scritto dal modello.
3. Volume e pagine rispetto all'anno. Sul sito della rivista, apri il volume indicato dalla citazione e conferma l'anno e l'intervallo di pagine. Walters e Wilder hanno trovato il 24% delle citazioni reali di GPT-4 sbagliato in un campo sostanziale, ed è qui che emergono quelle sbagliate.
4. L'elenco delle pubblicazioni dell'autore. Apri il profilo Google Scholar, il record ORCID o la pagina del dipartimento del primo autore e cerca l'articolo lì. Due autori reali che non hanno mai scritto insieme sono una fabbricazione comune, ed è invisibile fino a questo passaggio.

Il controllo è più rapido se il modello deve darti gli identificativi. Aggiungi questa riga a qualsiasi richiesta di fonti: "Give the DOI and the PubMed ID for every reference, and mark any reference you cannot give a DOI for as unverified." Un modello con la ricerca accesa allegherà i link; un modello con la ricerca spenta fornirà DOI che puoi risolvere oppure ammetterà di non averne, che nella nostra prova è ciò che ha fatto. Non chiedere mai al modello se la sua stessa citazione è reale: la conferma viene generata come è stata generata la citazione. Come verificare le risposte dell'IA è il metodo generale di due minuti per affermazioni, numeri e citazioni testuali; questa sequenza è la parte specifica per le citazioni.

Per un riferimento che invierai, depositerai o pubblicherai, esegui tutti e quattro i passaggi. Per uno che stai solo leggendo, il passaggio 1 basta per decidere se continuare a leggere.

ChatGPT è una fonte attendibile? Non per la citazione in sé, e i tribunali ne hanno fissato il prezzo

ChatGPT non è una fonte attendibile per una citazione, perché la citazione è un'affermazione su un documento e non il documento; è un modo veloce per trovare articoli candidati di cui poi apri i record reali. Questa distinzione ha un conto che cresce. Il database di Damien Charlotin sulle decisioni giudiziarie in cui una parte si è basata su materiale allucinato elencava 2,086 casi al 27 settembre 2026, 1,430 dei quali negli Stati Uniti, 828 presentati da avvocati e 33 da giudici. Sono gli atti che un tribunale ha individuato e messo per iscritto. Perché l'IA sbaglia tratta gli errori che non arrivano mai davanti a un giudice.

Quindi la regola per decidere: una citazione da un modello di chat è una pista finché un database non dice il contrario, e una pista vale esattamente il minuto che serve per controllarla.