ChatGPT invente des sources ? Oui : 7% à 69% de ses citations, selon l'étude

À quelle fréquence ChatGPT invente-t-il des sources ? 7% à 69% des citations, selon le modèle et l'année

ChatGPT invente des sources à un taux mesuré de 7% à 69% des citations qu'il produit, selon le modèle et l'année considérés. La mesure la plus ancienne est la pire : Gravel et ses collègues ont posé des questions médicales à ChatGPT début 2023 et ont constaté que 41 de ses 59 références, soit 69%, étaient inventées. La plus récente est la meilleure : Bernstein et ses collègues ont demandé à ChatGPT-5 avec navigation les références derrière 70 recommandations de guides orthopédiques début 2026, et 7.13% n'existaient pas. Aucune étude n'a trouvé zéro, et dans notre propre test, un DOI qui se résolvait correctement menait au mauvais article.

Les quatre lignes sont quatre études différentes avec quatre tâches différentes : lisez le graphique comme une direction, pas comme une courbe. Le tableau ci-dessous reprend toutes les études que nous avons pu ouvrir à la source, avec l'année d'interrogation du modèle, l'échantillon et la part de citations qui n'existaient pas. Les références médicales, juridiques et académiques générales y figurent toutes, car la défaillance est la même dans chaque domaine.

Deux points de ce tableau comptent plus que les taux eux-mêmes. D'abord, la part fabriquée n'est que la moitié des dégâts : chez Walters et Wilder, "55% des citations de GPT-3.5 mais seulement 18% de celles de GPT-4 sont fabriquées. De même, 43% des citations réelles (non fabriquées) de GPT-3.5 mais seulement 24% des citations réelles de GPT-4 comportent des erreurs de citation substantielles." Une référence qui existe avec la mauvaise année, le mauvais volume ou les mauvais auteurs échoue devant le même relecteur. Ensuite, le taux varie avec le caractère pointu du sujet. Linardon et ses collègues ont demandé à GPT-4o des revues sur trois troubles et ont obtenu 6% de citations inventées pour la dépression majeure, 28% pour l'hyperphagie boulimique et 29% pour le trouble de la dysmorphie corporelle. Plus votre question est étroite, plus la réponse est devinée.

Pourquoi ChatGPT invente-t-il des sources ? Il écrit la forme d'une citation, pas la notice

ChatGPT invente des sources parce qu'il produit les mots suivants les plus probables, et qu'une citation est une chaîne très régulière : nom, initiales, année, titre, revue, volume, pages, DOI. Chaque partie de ce schéma est facile à prolonger et aucune n'est consultée. Le modèle qui a écrit la référence n'a jamais ouvert de base de données : rien dans le processus ne permet de distinguer une vraie notice d'une notice bien formée.

Les chercheurs d'OpenAI eux-mêmes disent que la seconde moitié du mécanisme tient à l'entraînement. Dans Why Language Models Hallucinate (Kalai, Nachum, Vempala et Zhang, septembre 2025), le résumé commence ainsi : "Comme des étudiants face à des questions d'examen difficiles, les grands modèles de langage devinent parfois quand ils sont incertains, produisant des affirmations plausibles mais incorrectes au lieu d'admettre leur incertitude." Une citation devinée qui se trouve juste rapporte des points ; "je ne sais pas" n'en rapporte aucun ; le modèle apprend donc à deviner. Ce qu'est une hallucination d'IA présente cet article en détail.

Les fabrications sont rarement aléatoires. Dans notre test ci-dessous, le modèle a donné un vrai couple d'auteurs qui ont réellement publié dans le Journal of Adolescent Health en 2006 sur la caféine et les adolescents, puis a écrit le mauvais titre, le mauvais numéro, les mauvaises pages et un DOI qui appartient à un autre article. Chaque champ a été tiré du voisinage de la vérité. C'est pourquoi une fausse citation résiste à un coup d'œil, et pourquoi les vérifications de la quatrième section confrontent les champs entre eux plutôt que la citation à votre mémoire.

La recherche web empêche-t-elle ChatGPT d'inventer des sources ? Elle réduit le taux, pas à zéro

La recherche web réduit fortement les citations fabriquées sans les supprimer. ChatGPT-5 avec navigation a encore inventé 7.13% de 2,736 références dans l'étude de 2026 de Bernstein et ses collègues, dont le résumé se termine ainsi : "Les erreurs de citation et les références fabriquées persistent dans ChatGPT-5. La vérification indépendante des références générées reste donc nécessaire." Sur 53,090 URL citées par des modèles augmentés par la recherche et des agents de recherche approfondie, Rao, Wong et Callison-Burch (avril 2026) ont trouvé que 3% à 13% pointaient vers des pages inexistantes, et que les agents qui citent le plus hallucinent le plus. En droit, où la recherche documentaire est intégrée, Magesh et ses collègues de Stanford (2024) ont constaté que Lexis+ AI et les outils de Thomson Reuters "hallucinent chacun entre 17% et 33% du temps".

Nous avons fait la comparaison nous-mêmes le 27 septembre 2026, sur GPT-5.6 Luna via Whizi, où la recherche web est un interrupteur dans la zone de saisie. Une seule requête, envoyée deux fois, une fois avec la recherche désactivée et une fois avec elle activée : "List five peer-reviewed journal articles on caffeine and sleep latency in adolescents. For each give authors, year, article title, journal, volume, pages and DOI." Ensuite, chaque DOI a été envoyé à doi.org et à l'API Crossref, et la notice obtenue a été comparée champ par champ à ce que le modèle avait écrit.

Aucune des deux exécutions n'a produit cinq références. Avec la recherche désactivée, le modèle en a donné deux et a décliné le reste, en écrivant qu'il ne voulait pas "inventer ou déformer les détails du DOI" ; avec la recherche activée, il en a donné trois avec des liens PubMed et a indiqué que les résultats n'en soutenaient pas deux de plus. La seule mauvaise citation venait de l'exécution sans recherche, et elle est instructive : le DOI se résout, donc un simple contrôle du DOI la laisse passer, et seule la lecture du titre sur la page d'arrivée la repère. Deux réserves. Ce test est passé par Whizi, dont le prompt système entre en jeu : c'est un modèle à une date, pas un taux. Et Whizi perd sur le sujet même de cette page : en septembre 2026, il n'a pas de vérificateur de citations, donc un lien dans la réponse reste un lien que vous ouvrez vous-même, et personne n'a mesuré ses 280+ modèles sur cette tâche, le sélecteur ne peut donc pas vous dire lequel invente le moins. Ce que fait l'interrupteur de recherche web, c'est donner au modèle des pages en direct à citer, d'où viennent les trois références vérifiées.

Comment vérifier une citation de ChatGPT en 60 secondes ? Quatre étapes, dans cet ordre

Vous vérifiez une citation de ChatGPT en confrontant ses champs à une base de données : cherchez le titre exact, résolvez le DOI et lisez la page d'arrivée, comparez le volume et les pages à l'année de la revue, puis ouvrez la liste de publications de l'auteur. Chaque étape attrape une défaillance que la précédente laisse passer, et la séquence entière prend environ une minute par référence quand on l'a faite deux fois.

1. Recherche du titre exact. Collez le titre entre guillemets doubles dans Google Scholar ou dans la zone de recherche Crossref. Un vrai article apparaît une fois, avec les mêmes auteurs. Aucun résultat, ou un résultat avec d'autres auteurs, met fin à la vérification : la citation est inutilisable telle quelle.
2. Résolution du DOI, puis lecture. Collez le DOI après https://doi.org/. Une erreur 404 signifie que le DOI a été inventé. Une page qui se charge n'est pas encore une validation : lisez le titre qu'elle affiche. Notre citation d'Orbeta se résolvait proprement vers un article sur le HPV, et la notice Crossref indiquait volume 37, numéro 6, 2005, contre le 38(3), 2006 écrit par le modèle.
3. Volume et pages face à l'année. Sur le site de la revue, ouvrez le volume cité et confirmez l'année et la plage de pages. Walters et Wilder ont trouvé 24% des citations réelles de GPT-4 fausses dans un champ substantiel, et c'est ici que les mauvaises apparaissent.
4. La liste de publications de l'auteur. Ouvrez le profil Google Scholar, la fiche ORCID ou la page de département du premier auteur et cherchez-y l'article. Deux vrais auteurs qui n'ont jamais écrit ensemble sont une fabrication courante, invisible jusqu'à cette étape.

La vérification est plus rapide si le modèle doit fournir les identifiants. Ajoutez cette ligne à toute demande de sources : "Give the DOI and the PubMed ID for every reference, and mark any reference you cannot give a DOI for as unverified." Un modèle avec la recherche activée joindra les liens ; un modèle sans recherche fournira des DOI que vous pouvez résoudre ou admettra qu'il n'en a pas, ce qu'il a fait dans notre test. Ne demandez jamais au modèle si sa propre citation est réelle : la confirmation est générée de la même façon que la citation. Comment vérifier les réponses de l'IA est la méthode générale de deux minutes pour les affirmations, les chiffres et les citations ; cette séquence en est la partie propre aux références.

Pour une référence que vous allez soumettre, déposer ou publier, faites les quatre étapes. Pour une référence que vous ne faites que lire, l'étape 1 suffit à décider si cela vaut la peine de continuer.

ChatGPT est-il une source crédible ? Pas pour la citation elle-même, et les tribunaux ont chiffré le prix

ChatGPT n'est pas une source crédible pour une citation, car la citation est une affirmation sur une notice et non la notice ; c'est un moyen rapide de trouver des articles candidats dont vous ouvrez ensuite les vraies notices. Cette distinction a une facture qui court. La base de données de Damien Charlotin, qui recense les décisions de justice où une partie s'est appuyée sur des éléments hallucinés, comptait 2,086 affaires au 27 septembre 2026, dont 1,430 aux États-Unis, 828 déposées par des avocats et 33 par des juges. Ce sont les dossiers qu'un tribunal a repérés et consignés. Pourquoi l'IA se trompe traite des erreurs qui n'arrivent jamais devant un juge.

La règle de décision est donc la suivante : une citation issue d'un modèle de chat est une piste tant qu'une base de données ne dit pas le contraire, et une piste vaut exactement la minute qu'il faut pour la vérifier.