Что такое дообучение модели в ИИ?

Дообучение - лёгкая подстройка поверх огромной модели

Языковая модель попадает к вам уже обученной. Предобучение прочитало корпус из триллионов токенов: Meta сообщила о более чем 15 триллионах для Llama 3. Затем постобучение превратило её в ассистента. Что такое LLM разбирает оба этапа.

Дообучение - это третий, гораздо меньший этап, который выполняете вы сами. Вы даёте модели от нескольких сотен до нескольких тысяч примеров нужных входных и выходных данных и немного доучиваете её на них. Руководство OpenAI по дообучению говорит, что заметное улучшение обычно проявляется уже на 50 до 100 примерах. Параметры чуть сдвигаются в сторону выдачи нужного вам типа ответа по умолчанию.

Разница в масштабе и есть вся суть. Пятнадцать триллионов токенов против нескольких сотен примеров: дообучение не может добавить значимых знаний, потому что их слишком мало, чтобы сдвинуть то, что модель знает. Зато оно может сдвинуть то, как модель отвечает, потому что устойчивый формат, повторённый несколько сотен раз, это именно тот паттерн, который улавливает лёгкая подстройка.

Дообучение меняет то, как модель отвечает, но никогда то, что она знает

Границу нужно проводить между поведением и знаниями.

Сбой, с которым сталкиваются люди, это четвёртая строка. Они дообучают модель на своём справочном центре, ожидая модель, которая знает их продукт. А получают модель, которая бегло пишет голосом справочного центра и так же бегло выдумывает факты о продукте, потому что обучение задало форму ответов, а не их содержание. Задача знаний принадлежит поиску по документам, и что такое RAG объясняет, как это работает.

Почему дообучение делают на дешёвых моделях намеренно

Никто не дообучает самую дорогую модель в семействе ради узкой задачи. Смысл в том, чтобы маленькая, дешёвая модель делала одно дело так же хорошо, как топовая модель с длинным промптом, а затем запускать дешёвую миллионы раз.

Числа над каждым концом это баллы Artificial Analysis Intelligence Index, снятые 2026-09-17, а линия это разрыв в цене за миллион токенов. Универсальная Llama 4 Maverick набирает 9 баллов против 38 у Claude Sonnet 5; ставка дообучения в том, что на одной узкой задаче эти 29 баллов можно закрыть ради 127-кратной экономии. По ценам прайс-листа OpenRouter, полученным 2026-08-20, стандартный ответ из 1000 токенов на входе и 500 на выходе стоит $0.0006 на Maverick и $0.007 на Sonnet 5, по данным индекса стоимости моделей ИИ, так что классификатор обращений в поддержку, запускаемый 100000 раз в месяц, стоит $60 на первой модели и $700 на второй. Если настроенная Maverick сравняется с Sonnet на этой конкретной задаче, дообучение окупится в первый же месяц. Именно эта арифметика, а не качество модели вообще, и есть смысл дообучения.

Метод, который сделал это дешёвым, это LoRA, опубликованный в 2021 году: он обучает небольшой набор добавленных параметров, а не всю модель. Вместе со своим 4-битным преемником QLoRA (Dettmers et al., 2023) модель с 7 миллиардами параметров дообучается на одной потребительской видеокарте с 24 ГБ памяти. Полное дообучение той же модели означает обновление каждого параметра на нескольких серверных GPU.

Промпт, поиск по документам или другая модель решают большинство случаев без всякого обучения

Дообучение - это последний вариант, а не первый, потому что каждый из этих способов решает распространённые случаи с малой долей усилий и меняется за минуту.

1. Лучший промпт с примерами. Три примера нужного ответа внутри промпта дают почти всю выгоду по формату и тону, которую даёт дообучение, но без всякого обучения. Промпт-инжиниринг для начинающих разбирает этот приём.
2. Поиск по документам. Если разрыв в знаниях, никакое дообучение его не закроет. Загрузите документы или включите поиск.
3. Другая модель. Модели отличаются стандартным голосом. Модель, которая уже пишет так, как вам нужно, обходит дообучение той, которая так не пишет; мультимодельное рабочее пространство превращает это в тест в один клик.

Обращайтесь к дообучению, когда промпт разросся до страницы правил, которые модель постоянно забывает, когда задача выполняется с объёмом, при котором длина промпта это реальные деньги, или когда вам нужен формат, надёжно возвращаемый десять тысяч раз без единого отклонения. Это реальные потребности. Они же и редкие.

Можно ли дообучить модель внутри чат-продукта?

Обычно нет, и Whizi не исключение. Потребительские чат-продукты, включая Whizi, не предлагают дообучение; это функция для разработчиков в API провайдеров и на открытых моделях. Ближайшее, что есть внутри чат-приложения, это постоянные инструкции. В Whizi они хранятся в проекте: пользовательские инструкции на уровне проекта применяются к каждому разговору в этом проекте, что и даёт устойчивый тон и формат по всему массиву работы без всякого обучения. Как использовать Проекты объясняет настройку.

Для большинства это правильный компромисс. Инструкция проекта это промпт, который вы пишете один раз и правите, когда меняются правила. Дообученная модель это модель, которую вы переобучаете каждый раз, когда меняются правила. Для всех, кто не выполняет узкую задачу в большом объёме, промпт выигрывает по цене, скорости изменений и тому, что его можно прочитать.

Правило принятия решения: дообучайте, когда одна и та же узкая задача выполняется с объёмом, при котором окупаемость дешёвой модели имеет значение. Во всех остальных случаях просто запишите инструкцию.