Fine tuning це невеликий поштовх поверх величезної моделі
Мовна модель потрапляє до вас уже навченою. Попереднє навчання прочитало корпус із трильйонів токенів: Meta заявляла про понад 15 трильйонів для Llama 3. Потім post training довчив її бути асистентом. Що таке LLM розглядає обидва етапи.
Fine tuning це третій, набагато менший етап, який запускаєте ви самі. Ви даєте моделі від кількох сотень до кількох тисяч прикладів точного вхідного і вихідного тексту, який хочете отримувати, і трохи довчаєте її на них. Посібник OpenAI з fine tuning каже, що помітні покращення зазвичай видно вже від 50 до 100 прикладів. Параметри трохи зміщуються в бік того, щоб за замовчуванням видавати відповіді у вашому стилі.
Різниця в масштабі і є всією суттю. П'ятнадцять трильйонів токенів проти кількох сотень прикладів: fine tuning не може додати суттєвих знань, бо їх просто недостатньо, щоб вплинути на те, що модель знає. Але він може вплинути на те, як модель відповідає, бо послідовний формат, повторений кілька сотень разів, це саме той патерн, який невеликий поштовх здатен вловити.
Fine tuning змінює те, як модель відповідає, а не те, що вона знає
Межу треба проводити між поведінкою і знаннями.
| Ви хочете, щоб модель... | Fine tuning | Що насправді працює |
|---|---|---|
| Завжди відповідала у вашому фірмовому стилі чи тоні | Так, це основне застосування | Fine tuning, або сильний системний промпт із прикладами |
| Завжди повертала конкретний формат (JSON, фіксований шаблон) | Так | Fine tuning для надійності в масштабі, промпт для рідкісного використання |
| Дотримувалась довгого списку правил без нагадувань | Так | Fine tuning, правила переходять із промпту у ваги |
| Знала ваш продукт, ціни, політики | Ні | Retrieval: передавайте документи у момент відповіді |
| Знала все, що змінилося після навчання | Ні | Веб пошук або retrieval |
| Краще міркувала над складними задачами | Ні | Reasoning модель або більша модель |
Помилка, з якою стикаються люди, це четвертий рядок. Вони донавчають модель на своєму довідковому центрі, очікуючи модель, яка знає їхній продукт. Натомість отримують модель, яка пише голосом довідкового центру і вигадує факти про продукт цілком переконливо, бо навчання передало їй форму відповідей, а не суть. Робота зі знаннями належить retrieval, і що таке RAG пояснює, як це працює.
Чому fine tuning навмисно роблять на дешевих моделях
Ніхто не донавчає найдорожчу модель у сімействі для вузького завдання. Мета в тому, щоб маленька, дешева модель робила одну справу так само добре, як флагманська модель із довгим промптом, а потім запускати дешеву модель мільйони разів.
Цифри над кожним кінцем це бали Artificial Analysis Intelligence Index, зчитані 2026-09-17, а лінія показує розрив у ціні за мільйон токенів. Універсальна Llama 4 Maverick набирає 9 балів проти 38 у Claude Sonnet 5; ставка fine tuning у тому, що на одному вузькому завданні ці 29 балів можна закрити за 127 разову економію. За списковими цінами OpenRouter, отриманими 2026-08-20, стандартна відповідь на 1000 токенів на вході і 500 на виході коштує $0.0006 на Maverick і $0.007 на Sonnet 5, за даними індексу вартості моделей ШІ, тож класифікатор звернень підтримки, що запускається 100 000 разів на місяць, коштує $60 на першій моделі і $700 на другій. Якщо донавчена Maverick зрівняється з Sonnet на цьому одному завданні, донавчання окупиться вже за перший місяць. Саме ця арифметика, а не якість моделі загалом, і є сенсом fine tuning.
Метод, який зробив це дешевим, це LoRA, опублікований у 2021 році: він навчає невеликий набір доданих параметрів замість усієї моделі. З 4 бітним наступником QLoRA (Dettmers et al., 2023) модель на 7 мільярдів параметрів донавчається на одній споживчій відеокарті з 24 ГБ пам'яті. Повне донавчання тієї самої моделі означає оновлення кожного параметра на кількох дата центрових GPU.
Промпт, retrieval або інша модель вирішують більшість випадків ще до будь якого навчання
Fine tuning це останній варіант, а не перший, бо кожен із цих способів вирішує типові випадки за частку зусиль і його можна змінити за хвилину.
- Кращий промпт із прикладами. Три приклади бажаного результату всередині промпту дають більшість переваг fine tuning у форматі й тоні без жодного навчання. Промпт-інжиніринг для початківців розглядає цей патерн.
- Retrieval. Якщо розрив у знаннях, жодне донавчання його не закриє. Завантажте документи або увімкніть пошук.
- Інша модель. Моделі відрізняються за стандартним голосом. Модель, яка вже пише так, як вам треба, переважає донавчання тієї, що не пише; робочий простір із кількома моделями робить це перевіркою в один клік.
Звертайтеся до fine tuning, коли промпт розрісся до сторінки правил, які модель постійно забуває, коли завдання виконується в обсязі, де довжина промпту це реальні гроші, або коли потрібно надійно повертати формат десять тисяч разів без жодного відхилення. Це реальні потреби. Вони також рідкісні.
Чи можна робити fine tuning усередині чат продукту?
Загалом ні, і Whizi не виняток. Споживчі чат продукти, включно з Whizi, не пропонують fine tuning: це функція для розробників у API провайдерів і моделях з відкритими вагами. Найближчий аналог усередині чат застосунку це постійні інструкції. У Whizi вони живуть на рівні проєкту: власні інструкції для кожного проєкту застосовуються до кожної розмови в ньому, і саме так ви отримуєте послідовний тон і формат у всій роботі без жодного навчання. Як користуватися проєктами пояснює налаштування.
Для більшості людей це правильний компроміс. Інструкція проєкту це промпт, який ви пишете один раз і редагуєте, коли правила змінюються. Fine tune це модель, яку ви перенавчаєте щоразу, коли правила змінюються. Для всіх, хто не виконує вузьке завдання у великому масштабі, промпт виграє за вартістю, швидкістю змін і тим, що його можна просто прочитати.
Правило прийняття рішення: робіть fine tuning, коли те саме вузьке завдання виконується в обсязі, де окупність дешевої моделі має значення. У всіх інших випадках просто запишіть інструкцію.
- Визначте, чи розрив у поведінці, чи у знаннях; fine tuning виправляє лише перше
- Спробуйте промпт із трьома прикладами до будь якого навчання
- Використовуйте retrieval або веб пошук для фактів, цін і всього, що змінюється
- Спершу перевірте іншу модель; можливо, вона вже пише так, як вам треба
- Донавчайте дешеву модель для вузького завдання з великим обсягом і порівнюйте результат із флагманською моделлю на тому самому завданні
Поширені запитання
Що означає fine tuning моделі ШІ?
Це означає трохи додатково навчити вже готову модель на ваших власних прикладах, зазвичай від кількох сотень до кількох тисяч пар вхід вихід, щоб вона за замовчуванням переймала стиль, формат або набір правил. Це невелике коригування поверх попереднього навчання, яке прочитало трильйони токенів, тому воно формує поведінку, а не додає знання.
Fine tuning проти RAG: що обрати?
Fine tuning для того, як модель відповідає: тон, формат, дотримання довгого набору правил. RAG для того, що вона знає: ваші документи і все, що змінюється. Вони вирішують різні задачі, і робочі системи часто використовують обидва підходи. Якщо ваш розрив у фактах, fine tuning його не закриє: модель звучатиме правильно і помилятиметься.
Скільки прикладів потрібно для fine tuning моделі?
Посібник OpenAI з fine tuning каже, що помітні покращення зазвичай видно вже від 50 до 100 якісно складених прикладів, і якість важливіша за кількість. Кілька сотень це типовий робочий обсяг; тисячі допомагають для завдань із багатьма різними випадками.
Скільки коштує fine tuning?
Сам процес навчання зазвичай невелика частина витрат; головне економія на кожній відповіді після нього. За списковими цінами OpenRouter, отриманими 2026-08-20, стандартна відповідь коштує $0.0006 на Llama 4 Maverick і $0.007 на Claude Sonnet 5, тож завдання, яке виконується 100 000 разів на місяць, коштує $60 проти $700. Fine tuning, який дозволяє дешевій моделі зрівнятися з дорогою на цьому завданні, окупається вже за перший місяць.
Чи можна зробити fine tuning ChatGPT або Claude?
Не споживчих застосунків. Fine tuning пропонують API провайдерів для деяких моделей і моделі з відкритими вагами, які ви запускаєте самостійно. Усередині чат продукту аналог це постійна інструкція: власні інструкції ChatGPT, або інструкція на рівні проєкту у Whizi, яка застосовується до кожної розмови в цьому проєкті.
