Fine-tuning je malý posun na vrcholu obřího modelu
Jazykový model k vám přichází už natrénovaný. Pretraining přečetl korpus bilionů tokenů, Meta u Llama 3 uvedla víc než 15 bilionů. Post-training ho pak vycvičil do podoby asistenta. Co je LLM popisuje obě fáze.
Fine-tuning je třetí, mnohem menší fáze, kterou spouštíte vy sami. Modelu dáte pár stovek až tisíc příkladů přesně toho vstupu a výstupu, který chcete, a dotrénujete ho na nich. Průvodce OpenAI k fine-tuningu uvádí, že jasné zlepšení se typicky projeví od 50 do 100 příkladů. Parametry se mírně posunou k tomu, aby model ve výchozím stavu produkoval váš typ odpovědi.
Rozdíl v měřítku je celý příběh. Patnáct bilionů tokenů proti pár stovkám příkladů: fine-tuning nemůže přidat smysluplné znalosti, protože jich není dost na to, aby pohnuly tím, co model ví. Co dokáže, je pohnout tím, jak model odpovídá, protože konzistentní formát opakovaný pár stokrát je přesně ten typ vzoru, který malý posun zachytí.
Fine-tuning mění, jak model odpovídá, nikdy ne to, co ví
Hranici je třeba vést mezi chováním a znalostmi.
| Chcete, aby model... | Fine-tuning | Co skutečně funguje |
|---|---|---|
| Vždy odpovídal ve vašem firemním stylu nebo tónu | Ano, to je hlavní použití | Fine-tuning, nebo silný systémový prompt s příklady |
| Vždy vracel konkrétní formát (JSON, pevná šablona) | Ano | Fine-tuning kvůli spolehlivosti ve velkém, prompt pro občasné použití |
| Dodržoval dlouhý seznam pravidel bez připomínání | Ano | Fine-tuning; pravidla se přesunou z promptu do vah |
| Znal váš produkt, ceny, zásady | Ne | Retrieval: předejte dokumenty v okamžiku odpovědi |
| Znal cokoliv, co se změnilo po trénování | Ne | Webové vyhledávání nebo retrieval |
| Lépe uvažoval nad těžkými problémy | Ne | Reasoning model nebo větší model |
Chyba, do které lidé narazí, je čtvrtý řádek. Doladí model na svém help centru a čekají model, který zná jejich produkt. Dostanou model, který píše hlasem help centra a plynule si vymýšlí fakta o produktu, protože trénink ho naučil tvar odpovědí, ne jejich obsah. Znalostní úkol patří retrievalu a co je RAG vysvětluje, jak to funguje.
Proč se fine-tuning dělá na levných modelech záměrně
Nikdo nedoladí nejdražší model z rodiny kvůli úzkému úkolu. Cílem je přimět malý, levný model, aby jednu věc zvládal stejně dobře jako frontier model s dlouhým promptem, a pak ten levný spouštět milionkrát.
Čísla nad každým koncem jsou skóre Artificial Analysis Intelligence Index, čtená 2026-09-17, a čára ukazuje rozdíl v ceně za milion tokenů. Univerzální Llama 4 Maverick skóruje 9 proti Claude Sonnet 5 na 38; sázka fine-tuningu je, že na jednom úzkém úkolu lze těch 29 bodů dohnat za 127násobnou úsporu. Při ceníkových cenách OpenRouter zjištěných 2026-08-20 stojí standardní odpověď o 1 000 tokenech na vstupu a 500 na výstupu $0.0006 na Maverick a $0.007 na Sonnet 5, podle indexu nákladů na AI modely, takže klasifikátor podpory spuštěný 100 000krát za měsíc stojí $60 na prvním a $700 na druhém. Pokud doladěný Maverick dorovná Sonnet na tomto jednom úkolu, doladění se zaplatí za první měsíc. Právě tato aritmetika, ne obecná kvalita modelu, je k čemu fine-tuning slouží.
Metoda, která to zlevnila, je LoRA, publikovaná v roce 2021, která trénuje malou sadu přidaných parametrů místo celého modelu. S 4bitovým nástupcem QLoRA (Dettmers a kol., 2023) se model se 7 miliardami parametrů doladí na jediné spotřebitelské grafické kartě s 24 GB. Plný fine-tuning stejného modelu znamená aktualizovat každý parametr napříč několika datacentrovými GPU.
Prompt, retrieval nebo jiný model vyřeší většinu případů dřív než jakýkoliv trénink
Fine-tuning je poslední možnost, ne první, protože každá z těchto věcí vyřeší běžné případy za zlomek úsilí a lze ji změnit za minutu.
- Lepší prompt s příklady. Tři příklady požadovaného výstupu přímo v promptu přinesou většinu přínosu fine-tuningu ve formátu a tónu bez jakéhokoliv trénování. Prompt engineering pro začátečníky popisuje tento vzor.
- Retrieval. Pokud je mezera ve znalostech, žádné doladění ji nezacelí. Nahrajte dokumenty nebo zapněte vyhledávání.
- Jiný model. Modely se liší ve výchozím hlasu. Model, který už píše tak, jak chcete, je lepší než doladit ten, který nepíše; multi-modelový pracovní prostor z toho udělá test na jedno kliknutí.
Sáhněte po fine-tuningu, když prompt naroste na stránku pravidel, na která model pořád zapomíná, když úkol běží v objemu, kde je délka promptu skutečné peníze, nebo když potřebujete formát vracený spolehlivě desettisíckrát bez jediné odchylky. To jsou skutečné potřeby. Zároveň jsou vzácné.
Jde fine-tuning provést uvnitř chatovacího produktu?
Obecně ne, a Whizi není výjimkou. Spotřebitelské chatovací produkty, Whizi včetně, fine-tuning nenabízejí; je to funkce pro vývojáře na API poskytovatelů a modelech s otevřenými váhami. Nejbližší věc uvnitř chatovací aplikace jsou stálé instrukce. Ve Whizi žijí na projektu: vlastní instrukce na úrovni projektu platí pro každou konverzaci v daném projektu, což je způsob, jak dosáhnout konzistentního tónu a formátu napříč celým souborem práce, aniž byste cokoliv trénovali. Jak používat projekty vysvětluje nastavení.
To je pro většinu lidí správný kompromis. Instrukce projektu je prompt, který napíšete jednou a upravíte, kdykoliv se pravidla změní. Fine-tuning je model, který přetrénujete, kdykoliv se pravidla změní. Pro každého, kdo nespouští úzký úkol ve velkém objemu, vyhrává prompt na nákladech, rychlosti změny a na tom, že si ho můžete přečíst.
Rozhodovací pravidlo: doladit, když stejný úzký úkol běží v objemu, kde záleží na tom, že se levný model zaplatí sám. Všude jinde si instrukci prostě napište.
- Rozhodněte, jestli je mezera v chování, nebo ve znalostech; fine-tuning opravuje jen to první
- Vyzkoušejte prompt se třemi příklady dřív než jakékoliv trénování
- Pro fakta, ceny a cokoliv, co se mění, použijte retrieval nebo webové vyhledávání
- Nejdřív vyzkoušejte jiný model; jeden možná už píše tak, jak chcete
- Doladite levný model pro úzký, vysokoobjemový úkol a poměřte ho proti frontier modelu na stejném úkolu
Časté dotazy
Co znamená fine-tuning AI modelu?
Znamená to dotrénovat už hotový model na vašich vlastních příkladech, obvykle pár stovek až tisíc párů vstup výstup, aby ve výchozím stavu přijal styl, formát nebo sadu pravidel. Je to malá úprava na vrcholu pretrainingu, který přečetl biliony tokenů, a proto formuje chování, ne přidává znalosti.
Fine-tuning vs RAG: co použít?
Fine-tuning pro to, jak model odpovídá: tón, formát, dodržování dlouhé sady pravidel. RAG pro to, co ví: vaše dokumenty a cokoliv, co se mění. Řeší různé problémy a produkční systémy často používají oba. Pokud je mezera ve faktech, fine-tuning ji nezacelí; model bude znít správně a bude se plést.
Kolik příkladů potřebujete k fine-tuningu modelu?
Průvodce OpenAI k fine-tuningu uvádí, že jasné zlepšení se typicky projeví od 50 do 100 dobře udělaných příkladů a že kvalita záleží víc než počet. Pár stovek je běžná pracovní velikost; tisíce pomůžou u úkolů s mnoha odlišnými případy.
Kolik stojí fine-tuning?
Trénovací běh je obvykle menší část; smyslem je úspora na jednu odpověď potom. Při ceníkových cenách OpenRouter zjištěných 2026-08-20 stojí standardní odpověď $0.0006 na Llama 4 Maverick a $0.007 na Claude Sonnet 5, takže úkol spuštěný 100 000krát za měsíc stojí $60 proti $700. Doladění, které umožní levnému modelu dorovnat drahý na tomto úkolu, se vrátí za první měsíc.
Můžu doladit ChatGPT nebo Claude?
Spotřebitelské aplikace ne. Fine-tuning je nabízen na API poskytovatelů u některých modelů a na modelech s otevřenými váhami, které provozujete sami. Uvnitř chatovacího produktu je ekvivalentem stálá instrukce: vlastní instrukce ChatGPT, nebo instrukce na úrovni projektu ve Whizi, která platí pro každou konverzaci v tomto projektu.
