Fine-Tuning ist ein kleiner Schubs auf einem riesigen Modell
Ein Sprachmodell kommt bei dir bereits trainiert an. Das Pretraining hat einen Korpus von Billionen Tokens gelesen; Meta berichtete von mehr als 15 Billionen für Llama 3. Post-Training hat es danach zu einem Assistenten trainiert. Was ist ein LLM behandelt beide Stufen.
Fine-Tuning ist eine dritte, viel kleinere Stufe, die du selbst durchführst. Du gibst dem Modell einige Hundert bis einige Tausend Beispiele der genauen Eingabe und Ausgabe, die du willst, und trainierst es damit etwas weiter. Der Fine-Tuning-Leitfaden von OpenAI sagt, dass sich deutliche Verbesserungen typischerweise ab 50 bis 100 Beispielen zeigen. Die Parameter verschieben sich leicht in Richtung deiner Art von Antwort als Standard.
Der Größenunterschied ist die ganze Geschichte. Fünfzehn Billionen Tokens gegenüber ein paar hundert Beispielen: Der Fine-Tune kann kein nennenswertes Wissen hinzufügen, weil davon einfach nicht genug da ist, um zu verändern, was das Modell weiß. Was er kann, ist zu verändern, wie das Modell antwortet, weil ein konsistentes Format, ein paar hundert Mal wiederholt, genau das Muster ist, das ein kleiner Schubs erfassen kann.
Fine-Tuning ändert, wie ein Modell antwortet, nie was es weiß
Die Trennlinie verläuft zwischen Verhalten und Wissen.
| Du willst, dass das Modell... | Fine-Tuning | Was wirklich funktioniert |
|---|---|---|
| Immer in deinem Hausstil oder Ton antwortet | Ja, das ist der Kernfall | Fine-Tuning, oder ein starker System-Prompt mit Beispielen |
| Immer ein bestimmtes Format zurückgibt (JSON, eine feste Vorlage) | Ja | Fine-Tuning für Zuverlässigkeit im großen Stil; ein Prompt für gelegentliche Nutzung |
| Einer langen Liste von Regeln folgt, ohne erinnert zu werden | Ja | Fine-Tuning; die Regeln wandern vom Prompt in die Gewichte |
| Dein Produkt, deine Preise, deine Richtlinien kennt | Nein | Retrieval: die Dokumente zum Antwortzeitpunkt mitgeben |
| Alles kennt, was sich seit dem Training geändert hat | Nein | Websuche oder Retrieval |
| Bei schwierigen Problemen besser schlussfolgert | Nein | Ein Reasoning-Modell oder ein größeres Modell |
Der Fehler, den Leute machen, ist die vierte Zeile. Sie fine-tunen mit ihrem Helpcenter und erwarten ein Modell, das ihr Produkt kennt. Sie bekommen ein Modell, das in der Stimme des Helpcenters schreibt und die Produktfakten flüssig erfindet, weil das Training ihm die Form der Antworten beigebracht hat, nicht deren Substanz. Die Wissensaufgabe gehört zu Retrieval, und was ist RAG erklärt, wie das funktioniert.
Warum Fine-Tuning bewusst an günstigen Modellen gemacht wird
Niemand fine-tuned das teuerste Modell einer Familie für eine enge Aufgabe. Der Sinn ist, ein kleines, günstiges Modell dazu zu bringen, eine Sache genauso gut zu machen wie das Spitzenmodell mit einem langen Prompt, und das günstige dann millionenfach laufen zu lassen.
Die Zahlen über jedem Ende sind Artificial Analysis Intelligence Index Werte, abgelesen am 2026-09-17, und die Linie ist die Preislücke pro Million Tokens. Ein universell einsetzbarer Llama 4 Maverick erreicht 9 Punkte gegenüber Claude Sonnet 5 mit 38; die Wette eines Fine-Tunes ist, dass sich bei einer engen Aufgabe diese 29 Punkte für eine 127-fache Ersparnis schließen lassen. Zu OpenRouter Listenpreisen, abgerufen am 2026-08-20, kostet eine Standardantwort mit 1.000 Tokens Eingabe und 500 Ausgabe $0.0006 bei Maverick und $0.007 bei Sonnet 5, laut dem KI-Modellkosten-Index, sodass ein Support-Klassifizierer, der 100.000 Mal im Monat läuft, beim ersten $60 und beim zweiten $700 kostet. Passt der feinjustierte Maverick bei dieser einen Aufgabe zu Sonnet, zahlt sich der Fine-Tune im ersten Monat aus. Diese Rechnung, nicht die Modellqualität im Allgemeinen, ist wofür Fine-Tuning gedacht ist.
Die Methode, die das günstig gemacht hat, ist LoRA, veröffentlicht 2021, das einen kleinen Satz zusätzlicher Parameter trainiert statt das ganze Modell. Mit seinem 4-Bit-Nachfolger QLoRA (Dettmers et al., 2023) lässt sich ein Modell mit 7 Milliarden Parametern auf einer einzelnen 24-GB-Consumer-Grafikkarte fine-tunen. Vollständiges Fine-Tuning desselben Modells bedeutet, jeden Parameter über mehrere Rechenzentrums-GPUs hinweg zu aktualisieren.
Ein Prompt, Retrieval oder ein anderes Modell löst die meisten Fälle vor jedem Training
Fine-Tuning ist die letzte Option, nicht die erste, weil jede dieser Alternativen die üblichen Fälle mit einem Bruchteil des Aufwands löst und sich in einer Minute ändern lässt.
- Ein besserer Prompt mit Beispielen. Drei Beispiele der gewünschten Ausgabe im Prompt bringen die meisten Format- und Ton-Vorteile eines Fine-Tunes, ganz ohne Training. Prompt Engineering für Einsteiger behandelt das Muster.
- Retrieval. Wenn die Lücke Wissen ist, schließt sie kein noch so viel Fine-Tuning. Lade die Dokumente hoch oder schalte die Suche ein.
- Ein anderes Modell. Modelle unterscheiden sich in ihrer Standardstimme. Ein Modell, das bereits so schreibt, wie du es willst, schlägt eines, das darauf trainiert werden muss; ein Multi-Modell-Arbeitsbereich macht das zu einem Test mit einem Klick.
Greif zu Fine-Tuning, wenn der Prompt auf eine Seite Regeln angewachsen ist, die das Modell immer wieder vergisst, wenn die Aufgabe in einem Volumen läuft, bei dem Promptlänge echtes Geld kostet, oder wenn du ein Format brauchst, das zehntausend Mal zuverlässig ohne eine einzige Abweichung zurückkommt. Das sind echte Bedürfnisse. Sie sind auch selten.
Kann man in einem Chat-Produkt fine-tunen?
In der Regel nein, und Whizi bildet keine Ausnahme. Consumer-Chat-Produkte, Whizi eingeschlossen, bieten kein Fine-Tuning an; es ist ein Entwicklerfeature auf Anbieter-APIs und offenen Modellen. Das Nächste, was es innerhalb einer Chat-App gibt, sind feste Anweisungen. Bei Whizi liegen diese auf einem Projekt: projektbezogene benutzerdefinierte Anweisungen gelten für jede Unterhaltung in diesem Projekt, so bekommst du konsistenten Ton und Format über eine ganze Arbeitsmenge hinweg, ohne irgendetwas zu trainieren. So verwendest du Projekte erklärt die Einrichtung.
Das ist für die meisten der richtige Tausch. Eine Projektanweisung ist ein Prompt, den du einmal schreibst und immer dann bearbeitest, wenn sich die Regeln ändern. Ein Fine-Tune ist ein Modell, das du jedes Mal neu trainierst, wenn sich die Regeln ändern. Für alle, die keine enge Aufgabe im großen Stil betreiben, gewinnt der Prompt bei Kosten, Änderungsgeschwindigkeit und der Tatsache, dass du ihn lesen kannst.
Die Entscheidungsregel: Fine-Tune, wenn dieselbe enge Aufgabe in einem Volumen läuft, bei dem sich ein günstiges Modell lohnt, das sich selbst finanziert. Überall sonst: schreib die Anweisung auf.
- Entscheide, ob die Lücke Verhalten oder Wissen ist; Fine-Tuning behebt nur Ersteres
- Probiere einen Prompt mit drei Beispielen, bevor du überhaupt trainierst
- Nutze Retrieval oder Websuche für Fakten, Preise und alles, was sich ändert
- Teste zuerst ein anderes Modell; eines schreibt vielleicht schon so, wie du willst
- Fine-tune ein günstiges Modell für eine enge, hochvolumige Aufgabe, und miss es an der Leistung des Spitzenmodells bei genau dieser Aufgabe
Häufige Fragen
Was bedeutet Fine-Tuning bei einem KI-Modell?
Es bedeutet, ein bereits trainiertes Modell etwas weiter auf deinen eigenen Beispielen zu trainieren, typischerweise ein paar Hundert bis ein paar Tausend Eingabe-Ausgabe-Paare, damit es standardmäßig einen Stil, ein Format oder eine Reihe von Regeln übernimmt. Es ist eine kleine Anpassung oben auf einem Pretraining, das Billionen Tokens gelesen hat, weshalb es Verhalten formt statt Wissen hinzuzufügen.
Fine-Tuning vs. RAG: was soll ich nehmen?
Fine-Tuning für die Art, wie das Modell antwortet: Ton, Format, das Befolgen eines langen Regelwerks. RAG für das, was es weiß: deine Dokumente und alles, was sich ändert. Sie lösen unterschiedliche Probleme, und Produktivsysteme nutzen oft beides. Ist deine Lücke Fakten, schließt Fine-Tuning sie nicht; das Modell klingt richtig und liegt falsch.
Wie viele Beispiele braucht man, um ein Modell zu fine-tunen?
Der Fine-Tuning-Leitfaden von OpenAI sagt, dass sich deutliche Verbesserungen typischerweise ab 50 bis 100 gut gemachten Beispielen zeigen, und dass Qualität wichtiger ist als Anzahl. Ein paar Hundert ist eine übliche Arbeitsgröße; Tausende helfen bei Aufgaben mit vielen unterschiedlichen Fällen.
Wie viel kostet Fine-Tuning?
Der Trainingslauf ist meist der kleine Teil; der Sinn ist die Ersparnis pro Antwort danach. Zu OpenRouter Listenpreisen, abgerufen am 2026-08-20, kostet eine Standardantwort $0.0006 bei Llama 4 Maverick und $0.007 bei Claude Sonnet 5, sodass eine Aufgabe, die 100.000 Mal im Monat läuft, $60 gegenüber $700 kostet. Ein Fine-Tune, der das günstige Modell bei dieser Aufgabe an das teure heranführt, zahlt sich im ersten Monat aus.
Kann ich ChatGPT oder Claude fine-tunen?
Nicht die Consumer-Apps. Fine-Tuning wird auf Anbieter-APIs für einige Modelle und auf offenen Modellen angeboten, die du selbst betreibst. In einem Chat-Produkt ist das Äquivalent eine feste Anweisung: die benutzerdefinierten Anweisungen von ChatGPT, oder eine Projektanweisung bei Whizi, die für jede Unterhaltung in diesem Projekt gilt.
