Почему ИИ ошибается и как заметить ошибку до того, как она вам обойдётся

Как это работает, без жаргона

Когда вы задаёте вопрос ИИ-чат-боту, он ничего не ищет. Он производит текст, по несколько символов за раз, который подходит под то, как обычно пишут правильный ответ на такой вопрос. В этом вся работа. Подходить под образец и быть правдой, это две разные цели, и в этом процессе ничто не целится во вторую.

Чаще всего вы этого не замечаете, потому что две цели совпадают. Тексты, на которых учились эти системы, писали в основном люди, которые в основном были правы, поэтому текст в форме ответа обычно оказывается и верным текстом. Совпадение истончается по краям: факты редкие, свежие, очень узкие или попросту отсутствующие в том, что модель прочитала. На этих краях создать форму правильного ответа по-прежнему легко. Создать его содержание, нет. Вы получаете предложение, построенное как факт, с числом в нужном месте и правдоподобной фамилией рядом, которое описывает то, чего никогда не было.

Это же объясняет, почему не срабатывает очевидный уточняющий вопрос. «Ты уверен?» ощущается как проверка. Но это не проверка. Согласие хорошо вписывается в форму услужливого ответа, поэтому давление обычно порождает согласие, и модель часто извиняется и заменяет верный ответ на худший. Убедитесь за две минуты: спросите то, что вы уже знаете, примите правильный ответ, а потом скажите «звучит неправильно» и посмотрите, что будет. Вернётся та же механика, производящая покладистый текст, а не второе мнение. Совсем базовое объяснение того, как всё это устроено, даёт что такое ИИ на самом деле, и там нет математики.

Пять мест, где ИИ ошибается чаще всего

Ошибки распределены не равномерно по всему, о чём вы можете спросить. Они собираются группами. Если запомнить эти пять групп, в нужный момент внутри включится маленькая сигнализация, а это ценнее общей настороженности, которая срабатывает постоянно, а потом перестаёт срабатывать вовсе.

Где даёт сбой	Как это выглядит	Пример в одну строку
Конкретные факты и числа	Точная цифра, за которой ничего нет	Говорит, что магазин у дома открылся в 1987 году, хотя он открылся в 1994
Ссылки, цитаты, источники	Правдоподобные названия и адреса, но ни один не открывается	Исследование двух реальных учёных в реальном журнале, которого никто не писал
Всё после даты отсечки обучения	Уверенные ответы о мире, который остановился месяцы назад	Называет прошлогоднюю цену подписки, хотя тариф изменился в марте
Арифметика и подсчёты	Метод верный, итог неверный	Складывает одиннадцать строк счёта и промахивается на 40 долларов
Вопросы с ответом внутри	Согласие под видом анализа	«Почему X лучше?» возвращает доводы за X и ни разу их не оспаривает

Последняя строка, это та, которую вы создаёте сами, и в реальной работе она встречается чаще всего. Вопрос «почему X лучше, чем Y» почти гарантированно даёт доводы за X, а вопрос со словами «ведь правда, что» обычно получает «да». Спрашивайте иначе: «Сравни X и Y для этой ситуации, а потом приведи самый сильный аргумент против того варианта, который ты выбрал». Умение формулировать вопросы так, чтобы они не протаскивали ответ внутри себя, это половина того, что называют промптингом, а остальное разбирает как разговаривать с ИИ. Ещё одна особенность, о которой стоит знать заранее. В очень длинной беседе или после того, как вы вставили очень длинный документ, детали из начала могут выпасть из поля зрения модели, и она заполнит дыру, вместо того чтобы сказать, что потеряла нить. Это ограничение объёма, а не проблема с правдой, и что такое контекстное окно объясняет, где проходит этот потолок.

Уверенный тон, это не блеф

Большинство приходит сюда с разумным предположением: система знает, насколько она уверена, и прячет сомнение, чтобы выглядеть компетентной. Предположение неверное, и это важно, потому что оно отправляет вас искать сигнал уверенности, которого там никогда не было.

Никакого счётчика уверенности от вас не скрывают. Система не сидит на тайном числе «62 процента», решив звучать на все сто. Неверный ответ она производит тем же процессом и с той же гладкостью, что и верный. Именно поэтому тон здесь бесполезен как сигнал, в отличие от разговора с человеком. Оговорка вроде «я не совсем уверен, но» тоже сгенерированный текст. Она появляется потому, что такая формулировка подходит вопросам подобной формы, а не потому, что внутри что-то сработало как предупреждение. Попросите модель оценить собственную уверенность по десятибалльной шкале, и вы получите число, часто высокое, стоящее прямо рядом с выдуманной ею ссылкой. Оценку породил тот же процесс, что и ссылку.

Поэтому указания вроде «отвечай, только если уверен» или «ничего не выдумывай» помогают меньше, чем на это надеются. Добавить к важному вопросу «скажи, что не знаешь, если не знаешь», всё же стоит: новые модели отказываются охотнее, чем раньше. Но относитесь к этому как к подсказке, а не как к гарантии. Надёжная версия той же идеи смотрит наружу: пусть ответ покажет вам то, что можно открыть. Когда приложение ищет в интернете и прикладывает ссылки, вы можете сами прочитать страницу и перестать верить на слово. Когда оно отвечает только по памяти, его слово, это всё, что у вас есть.

Четыре проверки, от самой дешёвой к самой хлопотной

Вы не станете проверять всё подряд, а попытка закончится тем, что вы не проверите ничего. Нужна проверка, которая стоит дешевле, чем обошлась бы ошибка. Эти четыре идут от почти бесплатной до слегка раздражающей, и для большинства вопросов хватает первой же, до которой вы дотянетесь.

1. Попросите источники, а потом откройте их. Не «укажи источники» как ритуал. Кликните по ним. Мёртвая ссылка или живая страница, на которой нужного утверждения нет, закрывают вопрос примерно за десять секунд.
2. Спросите заново в новом чате. Тот же вопрос, новая беседа, без всей предыдущей переписки. Если числа, имена или даты вернутся другими, модель заполняла пробелы, а не вспоминала. Это ничего не стоит и ловит удивительно много выдуманной конкретики.
3. Спросите другую модель. Самая ценная проверка для фактических вопросов. Отправьте тот же вопрос второму провайдеру и сравните конкретные детали, а не тон.
4. Поищите обычным способом. Для всего, что вы отправите, подпишете, опубликуете или оплатите, дайте девяносто секунд поисковику. ИИ, это отличный первый заход. Первый заход, это не проверка.

Третий пункт стоит в списке не зря. Две модели, созданные разными компаниями, обученные на разных данных разными методами, могут обе ошибаться в одном и том же вопросе. Но они крайне редко выдумывают одну и ту же деталь, потому что выдуманная конкретика рождается из конкретных пробелов одной конкретной системы. Когда Claude и ChatGPT независимо друг от друга выдают вам одну и ту же цифру, эта цифра, скорее всего, настоящая. Когда они расходятся, вы нашли ровно то предложение, которое стоит проверить, и это лучше смутного чувства, что с ответом что-то не так. Для редких проверок хватит бесплатных тарифов двух провайдеров, и это ничего не стоит. Бесплатным это перестаёт быть, как только перекрёстная проверка входит в привычку: платный доступ обходится примерно в 20 долларов в месяц за каждого провайдера, и именно этот разрыв закрывает мультимодельная подписка вроде Whizi. Как использовать несколько моделей вместе разбирает весь этот рабочий процесс.

Где это важно, а где совсем нет

Привычка проверять всё подряд рассыпается за неделю. Большая часть того, о чём вы спрашиваете, это низкие ставки и самопроверка. Попросите сократить ваше собственное письмо, и вы сразу увидите, стало ли оно короче и говорит ли оно всё ещё то, что вы имели в виду. То же самое с мозговым штурмом, придумыванием названий, планом текста, черновиком, переводом сообщения, которое вы прочитаете перед отправкой, или превращением сумбурных заметок в список. Проверка, это вы сами, и ошибка сразу оказывается у вас перед глазами.

Два вопроса раскладывают любую задачу по нужной полке, и задать их себе, это дело трёх секунд.

1. Если это окажется неверным, кто узнает и когда? Вы, через десять секунд, читая ответ, или клиент, через три месяца?
2. Смогу ли я это отменить? Удалить неудачный абзац бесплатно. Переподать налоговую декларацию, отозвать отправленное предложение или вернуть платёж, нет.

Если хотя бы один ответ заставляет вас задуматься, проверьте каждое конкретное утверждение, прежде чем действовать. Явные обитатели этой полки: названия и дозировки лекарств, юридические сроки и сроки подачи документов, налоговые цифры, условия договоров, всё, что касается чьего-то здоровья или миграционного статуса, и код, который двигает деньги или работает с персональными данными. Неудачный синоним в письме сделает вас слегка странным на один день. Неверная дозировка или пропущенный срок, это уже не то, с чем ИИ потом разберётся. Безопасно ли пользоваться ИИ разбирает эту сторону подробнее, включая то, что вставлять туда нельзя никогда. Начните с одной привычки: как только в ответе появляется число, имя, дата или ссылка, считайте именно эту часть непроверенной и проверьте её. Остальное обычно в порядке.