Галлюцинация, это правдоподобный ответ, который оказался ложным
Попросите языковую модель назвать номер страницы цитаты из книги, о которой она читала, но которую никогда не видела, и она назовет номер страницы. Она не скажет «я не могу это знать». Число оформлено правильно, стоит в предложении, звучащем как любая другая ссылка в ее обучающих данных, и полностью выдумано.
Это и есть галлюцинация: гладкое, уверенное утверждение без факта за спиной. Само слово, это метафора, причем немного вводящая в заблуждение, потому что ничего не ломается. Модель попросили дать наиболее вероятное продолжение цитаты, и она его выдала. На вопросе, где наиболее правдоподобно звучащий ответ одновременно является истинным, а таких вопросов большинство, тот же самый процесс делает модель полезной.
Формы, которые она принимает, предсказуемы: выдуманные ссылки и URL, статистика без источника, цитаты, приписанные реальным людям, которые никогда их не произносили, несуществующие функции продукта, юридические или медицинские утверждения, поданные как установленный факт. Почему ИИ ошибается подробно разбирает, как ловить каждый тип; эта страница о том, почему они вообще возникают.
Почему модель, прочитавшая весь интернет, все равно выдумывает
Два механизма, и они складываются.
Модель предсказывает, а не извлекает. У языковой модели нет индекса фактов. Все, что она читала, было сжато в ее параметры, и во время ответа она заново генерирует текст токен за токеном из этого сжатия, выбирая каждый токен по вероятности. Когда истинный ответ часто встречался в обучающих данных, наиболее вероятное продолжение и есть истинное. Когда он встречался редко, отсутствовал или ему противоречили, модели все равно нужно выбрать токен, и она выбирает правдоподобный. Что такое LLM объясняет архитектуру; коротко говоря, нет такого шага, на котором модель спрашивает себя, реально ли предложение, которое она пишет.
Обучение поощряет угадывание. В сентябре 2025 года OpenAI опубликовала статью под названием «Why Language Models Hallucinate» (Почему языковые модели галлюцинируют), утверждая, что бенчмарки, по которым оцениваются модели, засчитывают неверный ответ и пустой ответ одинаково, нулем баллов, тогда как удачная догадка получает полный балл. Модель, оптимизированная под такую систему оценки, усваивает тот же урок, что и студент на тесте с вариантами ответа без штрафа за ошибку: всегда угадывай. Статья предлагает изменить систему оценки так, чтобы «я не знаю» стоило больше, чем уверенный промах.
Два судебных дела, которые назначили галлюцинации цену в деньгах
Mata v. Avianca, Нью-Йорк, 2023 год. Два адвоката подали записку, ссылаясь на шесть судебных решений, которые сгенерировал ChatGPT. Ни одно из шести не существовало. Судья оштрафовал адвокатов на $5,000 в июне 2023 года и обязал их написать судьям, которым были приписаны выдуманные решения. Скриншоты, приложенные к аффидевиту адвоката, показывают, как он спрашивает ChatGPT, реальны ли эти дела, а ChatGPT подтверждает, что да.
Moffatt v. Air Canada, Британская Колумбия, 2024 год. Чат-бот на сайте Air Canada сказал клиенту, что он может купить билет по полной цене на похороны, а затем получить скидку в связи с тяжелой утратой задним числом. Реальная политика авиакомпании гласила обратное. Когда Air Canada заявила, что чат-бот, это отдельное юридическое лицо, ответственное за свои собственные слова, Трибунал по разрешению гражданских споров отклонил это в феврале 2024 года и обязал авиакомпанию заплатить C$812.02.
Ни одна из моделей не была неисправна. Каждая выдала наиболее правдоподобно звучащий ответ на вопрос, истинный ответ на который был ей недоступен. Расплатился тот, кто не проверил.
Галлюцинация, это один из четырех типов сбоев, и способы исправления разные
Люди используют это слово для любого неверного ответа, и это скрывает тот факт, что у четырех распространенных сбоев четыре разные причины.
| Сбой | Что произошло | Как это заметить | Исправление |
|---|---|---|---|
| Галлюцинация | Модель выдумала факт, чтобы завершить правдоподобное предложение | Конкретно, проверяемо, без источника | Попросить источник, затем открыть его; спросить вторую модель |
| Устаревшие знания | Факт был верным на момент окончания обучения, а сейчас нет | Цены, версии, должностные лица, все, что датировано | Включить веб-поиск или вставить актуальную страницу |
| Промах поиска | Поиск или загруженный файл вернули не тот отрывок | Ответ ссылается на ваш документ, но отвечает на другой вопрос | Прочитать процитированный отрывок, а не только саму ссылку |
| Неверное прочтение | Модель ответила на слегка другой вопрос, чем вы задали | Ответ верен, но о чем-то другом | Переформулировать вопрос, явно указав ограничение |
Только первая строка, это галлюцинация в строгом смысле. Вторая и третья строки, это проблемы с обоснованием, и они в основном решаются, если дать модели что почитать. Четвертая строка, это проблема промпта. Отношение ко всем четырем как к одному загадочному изъяну приводит людей к неверному решению, обычно «взять модель побольше», которое меньше всего помогает с первой строкой.
Проверка двумя моделями, и сколько она стоит
Самая надежная привычка против галлюцинации в строгом смысле, это задать тот же вопрос второй, другой модели и сравнить ответы. Две модели от разных лабораторий, обученные на разных данных с разным дообучением, редко выдумывают одну и ту же ссылку. Совпадение, это слабое доказательство того, что факт реален. Расхождение, это сильный сигнал пойти и проверить, прежде чем действовать.
Причина, по которой это работает там, где «попроси ту же модель перепроверить» не работает: повторный проход той же модели, это тот же самый предсказатель, снова угадывающий из того же сжатия. Другая модель, это другое сжатие.
Второе мнение не обязано исходить от дорогой модели. По индексу интеллекта Artificial Analysis, составному показателю из публичных бенчмарков рассуждений, программирования и знаний, считанному 2026-09-17, DeepSeek V4 Flash набирает 40 баллов и стоит 1 кредит Whizi за сообщение; Claude Sonnet 5 набирает 38 и стоит 10. Пунктирная линия, это граница, лучший результат при каждой цене, и каждая точка на ней принадлежит другой лаборатории. Перекрестная проверка от двух лабораторий за 1 и 10 кредитов обходится в 11 кредитов, а режим бок о бок отправляет один вопрос обеим моделям на одном экране. Адвокаты по делу Mata v. Avianca заплатили $5,000 за проверку, которую не провели.
Что снижает галлюцинации, по убыванию эффекта
- Обоснование фактами. Веб-поиск, загруженный документ или вставленный источник превращают задачу из «вспомнить» в «прочитать и пересказать», а с этим модели справляются намного надежнее. Это самое сильное снижение из всех, и это настройка продукта, а не хитрость промпта.
- Вторая модель. Другое обучение, другие типы сбоев. Ловит большинство выдуманных конкретных деталей.
- Запрос источников и их открытие. Модель, которую попросили процитировать, процитирует; проверка в том, существует ли эта ссылка и говорит ли она то, что утверждает ответ.
- Разрешение сказать «не знаю». Фраза «если не уверена, так и скажи» меняет то, каким будет наиболее вероятное продолжение, поэтому на сложных вопросах модель чаще отказывается отвечать, вместо того чтобы выдумывать.
- Более крупная модель. Топовые модели галлюцинируют меньше маленьких на общеизвестных фактах, но разрыв меньше всего именно там, где это важно, на редких и конкретных фактах.
Порядок здесь и есть суть. Большинство людей сразу хватаются за пятый пункт, а он самый слабый рычаг в этом списке.
- Относитесь к любому конкретному, проверяемому утверждению без источника как к непроверенному: ссылка, статистика, цитата, функция продукта
- Включайте веб-поиск или прикрепляйте документ всякий раз, когда ответ зависит от чего-то недавнего, приватного или точного
- Спрашивайте вторую модель из другой лаборатории перед тем, как действовать на основе числа или ссылки; расхождение означает, что нужно проверить
- Открывайте процитированный источник и убеждайтесь, что он говорит именно то, что утверждает ответ, а не просто что он существует
- Добавляйте в промпты на сложных вопросах фразу вроде «скажи, если не уверена»
Частые вопросы
Почему модели ИИ галлюцинируют?
Потому что они генерируют наиболее правдоподобные следующие слова, а не сверяются с фактами, и потому что их обучение вознаграждает уверенную догадку выше, чем признание незнания. Статья OpenAI от сентября 2025 года «Why Language Models Hallucinate» показывает, что бенчмарки оценивают пустой ответ и неверный ответ одинаково, поэтому угадывание, это выигрышная стратегия, которую усваивает модель.
Можно ли полностью предотвратить галлюцинации ИИ?
С нынешними моделями нет, потому что генерация правдоподобного текста, это тот же самый механизм, который порождает и верные ответы, и выдуманные. Их можно существенно сократить: обоснование модели результатами поиска или документом, запрос второй модели и требование источников, которые вы затем открываете, убирают значительную долю. Остается остаточный риск на редких, конкретных фактах.
Какой ИИ галлюцинирует меньше всего?
Топовые модели от OpenAI, Anthropic и Google галлюцинируют меньше маленьких моделей на общеизвестных фактах, но разница сужается на редких и конкретных фактах, а именно там наносится ущерб. Небольшая модель с обоснованием через включенный веб-поиск обычно превосходит необоснованную топовую модель на фактических вопросах, так что настройка важнее бренда.
Галлюцинация, это то же самое, что ошибка?
Это один из видов ошибки. Галлюцинация, это выдуманный факт, поданный уверенно. Устаревшие знания (верные на момент обучения, ложные сейчас), промах поиска (был получен не тот отрывок) и неверно прочитанный вопрос, это разные сбои с разными решениями, и только на первый действует совет «попросить источники».
Что произошло в деле адвокатов и ChatGPT?
В деле Mata v. Avianca, поданном в Нью-Йорке, два адвоката подали записку, ссылаясь на шесть дел, которые выдумал ChatGPT. Суд оштрафовал их на $5,000 в июне 2023 года. Год спустя, в деле Moffatt v. Air Canada, трибунал обязал авиакомпанию заплатить C$812.02 после того, как ее чат-бот выдумал политику скидок в связи с тяжелой утратой, отклонив довод, что чат-бот отвечает за свои собственные слова сам.
