¿ChatGPT inventa fuentes? Sí: entre el 7% y el 69% de sus citas, según el estudio

¿Con qué frecuencia inventa fuentes ChatGPT? Del 7% al 69% de las citas, según el modelo y el año

ChatGPT inventa fuentes a una tasa medida del 7% al 69% de las citas que produce, según el modelo y el año que mires. La medición más antigua es la peor: Gravel y sus colegas hicieron preguntas médicas a ChatGPT a principios de 2023 y hallaron que 41 de sus 59 referencias, el 69%, eran inventadas. La más reciente es la mejor: Bernstein y sus colegas pidieron a ChatGPT-5 con navegación las referencias de 70 recomendaciones de guías ortopédicas a principios de 2026 y hallaron que el 7.13% no existía. Ningún estudio encontró cero, y en nuestra propia prueba un DOI que se resolvía sin problemas llevaba al artículo equivocado.

Las cuatro filas son cuatro estudios distintos con cuatro tareas distintas, así que lee el gráfico como una dirección, no como una curva. La tabla de abajo reúne todos los estudios que pudimos abrir en su fuente, con el año en que se consultó el modelo, la muestra y la proporción de citas que no existían. Aquí hay referencias médicas, legales y académicas generales porque el fallo es el mismo en cada campo.

Dos cosas de esa tabla importan más que las tasas principales. Primero, la parte inventada es solo la mitad del daño: en Walters y Wilder, "55% of the GPT-3.5 citations but just 18% of the GPT-4 citations are fabricated. Likewise, 43% of the real (non-fabricated) GPT-3.5 citations but just 24% of the real GPT-4 citations include substantive citation errors." Una referencia que existe pero con el año, el volumen o los autores equivocados falla ante el mismo revisor. Segundo, la tasa varía con lo oscuro que sea el tema. Linardon y sus colegas pidieron a GPT-4o revisiones sobre tres trastornos y obtuvieron un 6% de citas inventadas en depresión mayor, un 28% en trastorno por atracón y un 29% en trastorno dismórfico corporal. Cuanto más estrecha es tu pregunta, más de la respuesta es una conjetura.

¿Por qué ChatGPT inventa fuentes? Escribe la forma de una cita, no el registro

ChatGPT inventa fuentes porque produce las siguientes palabras más probables, y una cita es una cadena muy regular: apellido, iniciales, año, título, revista, volumen, páginas, DOI. Cada parte de ese patrón es fácil de continuar y ninguna se consulta en ningún sitio. El modelo que escribió la referencia nunca abrió una base de datos, así que nada en el proceso distingue un registro real de uno bien formado.

Los propios investigadores de OpenAI dicen que la segunda mitad del mecanismo es el entrenamiento. En Why Language Models Hallucinate (Kalai, Nachum, Vempala y Zhang, septiembre de 2025), el resumen empieza así: "Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty." Una cita adivinada que resulta correcta puntúa; "no lo sé" no puntúa nada; así que el modelo aprende a adivinar. Qué es una alucinación de la IA cubre ese artículo completo.

Las invenciones rara vez son aleatorias. En nuestra prueba de abajo, el modelo dio un par de autores reales que de verdad publicaron en el Journal of Adolescent Health en 2006 sobre cafeína y adolescentes, y luego escribió el título equivocado, el número equivocado, las páginas equivocadas y un DOI que pertenece a otro artículo. Cada campo salió del vecindario de la verdad. Por eso una cita falsa sobrevive a un vistazo y por eso las comprobaciones de la cuarta sección contrastan los campos entre sí en lugar de la cita con tu memoria.

¿La búsqueda web evita que ChatGPT invente fuentes? Reduce la tasa, no a cero

La búsqueda web reduce mucho las citas inventadas, pero no las elimina. ChatGPT-5 con navegación aún inventó el 7.13% de 2,736 referencias en el estudio de Bernstein y colegas de 2026, cuyo resumen termina así: "Citation errors and fabricated references persist in ChatGPT-5. Independent verification of generated references therefore remains necessary." Entre 53,090 URL citadas por modelos con búsqueda y agentes de investigación profunda, Rao, Wong y Callison-Burch (abril de 2026) hallaron que del 3% al 13% apuntaban a páginas que no existen, y los agentes que más citan son los que más alucinan. En derecho, donde la recuperación viene integrada, Magesh y colegas de Stanford (2024) hallaron que Lexis+ AI y las herramientas de Thomson Reuters "each hallucinate between 17% and 33% of the time".

Hicimos la comparación nosotros mismos el 27 de septiembre de 2026, con GPT-5.6 Luna a través de Whizi, donde la búsqueda web es un interruptor en el cuadro de escritura. Un prompt, enviado dos veces, una con la búsqueda apagada y otra encendida: "List five peer-reviewed journal articles on caffeine and sleep latency in adolescents. For each give authors, year, article title, journal, volume, pages and DOI." Después cada DOI se probó en doi.org y en la API de Crossref, y el registro devuelto se comparó campo por campo con lo que escribió el modelo.

Ninguna de las dos ejecuciones produjo cinco. Con la búsqueda apagada el modelo dio dos y rechazó el resto, escribiendo que no quería "invent or misstate DOI details"; con la búsqueda encendida dio tres con enlaces de PubMed adjuntos y dijo que los resultados no respaldaban dos más. La única cita mala vino de la ejecución sin búsqueda, y es de las instructivas: el DOI se resuelve, así que una comprobación de DOI por sí sola la deja pasar, y solo leer el título en la página de destino la detecta. Dos salvedades. Esto se ejecutó a través de Whizi, cuyo propio prompt de sistema interviene, así que es un modelo en una fecha y no una tasa. Y Whizi pierde en justo lo que trata esta página: a septiembre de 2026 no tiene verificador de citas, así que un enlace en la respuesta sigue siendo un enlace que abres tú mismo, y nadie ha medido sus más de 280 modelos en esta tarea, por lo que el selector no te dice cuál inventa menos. Lo que hace el interruptor de búsqueda web es dar al modelo páginas en vivo que citar, y de ahí salieron las tres referencias comprobadas.

¿Cómo se comprueba una cita de ChatGPT en 60 segundos? Cuatro pasos, en este orden

Una cita de ChatGPT se comprueba contrastando sus campos con una base de datos: busca el título exacto, resuelve el DOI y lee la página de destino, compara volumen y páginas con el año de la revista, y abre la lista de publicaciones del autor. Cada paso detecta un fallo que el anterior no ve, y toda la secuencia lleva alrededor de un minuto por referencia cuando ya la has hecho dos veces.

1. Búsqueda del título exacto. Pega el título entre comillas dobles en Google Scholar o en el buscador de Crossref. Un artículo real aparece una vez, con los mismos autores. Sin resultados, o con un resultado de otros autores, la comprobación termina: la cita no sirve tal como está escrita.
2. Resolver el DOI y luego leer. Pega el DOI después de https://doi.org/. Un 404 significa que el DOI fue inventado. Una página que carga todavía no es un aprobado, así que lee el título que muestra. Nuestra cita de Orbeta se resolvió sin problemas a un artículo sobre el VPH, y el registro de Crossref mostró volumen 37, número 6, 2005, frente al 38(3), 2006 que escribió el modelo.
3. Volumen y páginas frente al año. En el sitio de la revista, abre el volumen que nombra la cita y confirma el año y el rango de páginas. Walters y Wilder hallaron que el 24% de las citas reales de GPT-4 tenía un campo sustancialmente equivocado, y aquí es donde aparecen las erróneas.
4. La lista de publicaciones del autor. Abre el perfil de Google Scholar, el registro ORCID o la página del departamento del primer autor y busca ahí el artículo. Dos autores reales que nunca escribieron juntos es una invención común, y es invisible hasta este paso.

La comprobación es más rápida si el modelo tiene que darte los identificadores. Añade esta línea a cualquier petición de fuentes: "Give the DOI and the PubMed ID for every reference, and mark any reference you cannot give a DOI for as unverified." Un modelo con la búsqueda encendida adjuntará los enlaces; uno con la búsqueda apagada te dará DOI que puedes resolver o admitirá que no tiene ninguno, que es lo que hizo en nuestra prueba. Nunca preguntes al modelo si su propia cita es real: la confirmación se genera igual que la cita. Cómo verificar las respuestas de la IA es el método general de dos minutos para afirmaciones, cifras y citas textuales; esta secuencia es la parte específica para citas bibliográficas.

Para una referencia que vas a presentar, archivar o publicar, haz los cuatro pasos. Para una que solo estás leyendo, basta el paso 1 para decidir si sigues leyendo.

¿Es ChatGPT una fuente fiable? No para la cita en sí, y los tribunales ya le han puesto precio

ChatGPT no es una fuente fiable para una cita, porque la cita es una afirmación sobre un registro y no el registro; es una forma rápida de encontrar artículos candidatos cuyos registros reales abres después. Esa distinción tiene una factura en marcha. La base de datos de Damien Charlotin de decisiones judiciales en las que una parte se apoyó en material alucinado listaba 2,086 casos al 27 de septiembre de 2026, 1,430 de ellos en Estados Unidos, 828 presentados por abogados y 33 por jueces. Esos son los escritos que un tribunal detectó y dejó por escrito. Por qué la IA se equivoca cubre los errores que nunca llegan a un juez.

Así que la regla de decisión: una cita de un modelo de chat es una pista hasta que una base de datos diga lo contrario, y una pista vale exactamente el minuto que lleva comprobarla.