ChatGPT выдумывает источники? Да: от 7% до 69% ссылок, по данным исследований

Как часто ChatGPT выдумывает источники? От 7% до 69% ссылок, в зависимости от модели и года

ChatGPT выдумывает источники с измеренной долей от 7% до 69% ссылок, в зависимости от модели и года исследования. Самое старое измерение самое плохое: Грейвел с коллегами задали ChatGPT медицинские вопросы в начале 2023 года и обнаружили, что 41 из 59 его ссылок, то есть 69%, были выдуманы. Самое новое лучшее: Бернштейн с коллегами в начале 2026 года попросили ChatGPT-5 с браузингом привести источники для 70 рекомендаций ортопедических руководств, и 7.13% ссылок не существовали. Ни одно исследование не нашло нуля, а в нашем прогоне DOI, который открывался без ошибок, вёл не на ту статью.

Четыре строки это четыре разных исследования с разными задачами, поэтому читайте диаграмму как направление, а не как кривую. В таблице ниже собраны все исследования, которые мы смогли открыть в первоисточнике: год запроса к модели, выборка и доля несуществующих ссылок. Медицинские, юридические и общие научные ссылки собраны вместе, потому что сбой везде один и тот же.

Две вещи в этой таблице важнее общих цифр. Во-первых, выдуманные ссылки это только половина ущерба: в работе Walters and Wilder сказано: «55% of the GPT-3.5 citations but just 18% of the GPT-4 citations are fabricated. Likewise, 43% of the real (non-fabricated) GPT-3.5 citations but just 24% of the real GPT-4 citations include substantive citation errors.» Существующая ссылка с неверным годом, томом или авторами не устроит рецензента точно так же. Во-вторых, доля растёт вместе с узостью темы. Линардон с коллегами попросили GPT-4o составить обзоры по трём расстройствам и получили 6% выдуманных ссылок по большой депрессии, 28% по компульсивному перееданию и 29% по телесному дисморфическому расстройству. Чем уже вопрос, тем больше в ответе догадок.

Почему ChatGPT выдумывает источники? Он пишет форму ссылки, а не запись из базы

ChatGPT выдумывает источники, потому что производит наиболее вероятные следующие слова, а библиографическая ссылка это очень регулярная строка: фамилия, инициалы, год, название, журнал, том, страницы, DOI. Каждую часть такого шаблона легко продолжить, и ни одна не берётся из справочника. Модель, написавшая ссылку, не открывала никакую базу данных, поэтому в процессе нет ничего, что отличило бы настоящую запись от правдоподобной.

Исследователи самой OpenAI называют второй половиной механизма обучение. В статье Why Language Models Hallucinate (Калай, Нахум, Вемпала и Чжан, сентябрь 2025) аннотация начинается так: «Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty.» Угаданная ссылка, оказавшаяся верной, приносит балл; «я не знаю» не приносит ничего; поэтому модель учится гадать. Что такое галлюцинация ИИ подробно разбирает эту работу.

Выдумки редко бывают случайными. В нашем прогоне ниже модель назвала реальную пару авторов, которые действительно опубликовались в Journal of Adolescent Health в 2006 году о кофеине и подростках, а затем написала неверное название, неверный выпуск, неверные страницы и DOI, принадлежащий другой статье. Каждое поле было взято из окрестностей правды. Поэтому поддельная ссылка выдерживает беглый взгляд, и поэтому проверки в четвёртом разделе сверяют поля друг с другом, а не ссылку с вашей памятью.

Останавливает ли веб-поиск выдумывание источников в ChatGPT? Он снижает долю, но не до нуля

Веб-поиск резко сокращает выдуманные ссылки, но не убирает их. ChatGPT-5 с браузингом всё равно выдумал 7.13% из 2,736 ссылок в исследовании Бернштейна и коллег 2026 года, аннотация которого заканчивается так: «Citation errors and fabricated references persist in ChatGPT-5. Independent verification of generated references therefore remains necessary.» Среди 53,090 URL, процитированных моделями с поиском и агентами глубоких исследований, Rao, Wong и Callison-Burch (апрель 2026) нашли от 3% до 13% ссылок на несуществующие страницы, причём чем больше агент цитирует, тем больше он выдумывает. В юриспруденции, где поиск встроен, Magesh с коллегами из Стэнфорда (2024) обнаружили, что Lexis+ AI и инструменты Thomson Reuters «each hallucinate between 17% and 33% of the time».

Мы провели сравнение сами 27 сентября 2026 года на GPT-5.6 Luna через Whizi, где веб-поиск включается переключателем в поле ввода. Один запрос, отправленный дважды: с выключенным поиском и с включённым: «List five peer-reviewed journal articles on caffeine and sleep latency in adolescents. For each give authors, year, article title, journal, volume, pages and DOI.» Затем каждый DOI мы отправили на doi.org и в API Crossref и сравнили полученную запись по полям с тем, что написала модель.

Ни один прогон не дал пять ссылок. С выключенным поиском модель назвала две и отказалась от остальных, написав, что не хочет «invent or misstate DOI details»; с включённым назвала три со ссылками на PubMed и сообщила, что результаты не подтвердили ещё две. Единственная плохая ссылка пришла из прогона без поиска, и она поучительна: DOI открывается, поэтому одна проверка DOI её пропускает, и только чтение названия на странице статьи её выявляет. Две оговорки. Прогон шёл через Whizi, где действует собственный системный промпт, так что это одна модель в одну дату, а не процентная доля. И Whizi проигрывает именно в том, о чём эта страница: на сентябрь 2026 года в нём нет проверки цитат, поэтому ссылку из ответа по-прежнему открываете вы сами, а 280+ его моделей на этой задаче никто не измерял, так что выбор модели не подскажет, какая выдумывает меньше. Зато переключатель веб-поиска даёт модели живые страницы для цитирования, откуда и взялись три проверенные ссылки.

Как проверить ссылку ChatGPT за 60 секунд? Четыре шага, именно в таком порядке

Ссылку ChatGPT проверяют, сверяя её поля с базой данных: ищут точное название, открывают DOI и читают страницу статьи, сопоставляют том и страницы с годом журнала, затем открывают список публикаций автора. Каждый шаг ловит сбой, который пропускает предыдущий, и вся последовательность занимает около минуты на ссылку, когда вы проделали её пару раз.

1. Поиск точного названия. Вставьте название в двойных кавычках в Google Scholar или поиск Crossref. Настоящая статья появляется один раз, с теми же авторами. Нет результата или результат с другими авторами: проверка закончена, ссылка в таком виде непригодна.
2. Открыть DOI, затем прочитать. Вставьте DOI после https://doi.org/. Ошибка 404 значит, что DOI выдуман. Страница, которая загрузилась, ещё не зачёт, поэтому прочитайте название на ней. Наша ссылка Orbeta открылась без ошибок и вела на статью про ВПЧ, а запись Crossref показывала том 37, выпуск 6, 2005 год, против 38(3), 2006, которые написала модель.
3. Том и страницы против года. На сайте журнала откройте том, названный в ссылке, и подтвердите год и диапазон страниц. Уолтерс и Уилдер нашли существенную ошибку в поле у 24% реальных ссылок GPT-4, и именно здесь такие ошибки видны.
4. Список публикаций автора. Откройте профиль первого автора в Google Scholar, запись ORCID или страницу кафедры и найдите там статью. Два настоящих автора, которые никогда не писали вместе, это частая выдумка, и невидима она до этого шага.

Проверка идёт быстрее, если модель обязана дать идентификаторы. Добавьте в любой запрос источников такую строку: «Give the DOI and the PubMed ID for every reference, and mark any reference you cannot give a DOI for as unverified.» Модель с включённым поиском приложит ссылки; модель с выключенным либо даст DOI, которые можно открыть, либо признает, что их нет, что в нашем прогоне и произошло. Никогда не спрашивайте модель, настоящая ли её собственная ссылка: подтверждение генерируется так же, как и сама ссылка. Как проверять ответы ИИ это общий двухминутный метод для утверждений, чисел и цитат; эта последовательность его часть, специфичная для ссылок.

Если вы собираетесь подать, зарегистрировать или опубликовать ссылку, выполните все четыре шага. Если вы её только читаете, первого шага достаточно, чтобы решить, стоит ли читать дальше.

Можно ли считать ChatGPT надёжным источником? Не для самой ссылки, и суды уже назвали цену

ChatGPT не надёжный источник для библиографической ссылки, потому что ссылка это утверждение о записи, а не сама запись; он быстро находит кандидатов в статьи, настоящие записи которых вы затем открываете. У этого различия есть растущий счёт. В базе Дамьена Шарлотена судебных решений, где сторона опиралась на галлюцинированные материалы, на 27 сентября 2026 года было 2,086 дел, 1,430 из них в США, 828 поданы юристами и 33 судьями. Это только те документы, которые суд заметил и описал. Об ошибках, которые никогда не доходят до судьи, рассказывает материал Почему ИИ ошибается.

Отсюда правило: ссылка от чат-модели остаётся зацепкой, пока база данных не скажет обратное, а зацепка стоит ровно той минуты, которая нужна на проверку.