Wie du erkennst, ob ein neues KI-Modell wirklich besser für deine Arbeit ist

Warum die Launch-Benchmarks deine Frage nicht beantworten

Jedes Frontier-Release erscheint mit einer Grafik, die es bei standardisierten Bewertungen vorne zeigt. Diese Zahlen sind real, und sie sind trotzdem aus drei Gründen fast nutzlos, um zu entscheiden, was du am Montag verwenden solltest.

Die Abstände sind klein, und die Aufgaben sind nicht deine. Ein Unterschied von zwei Punkten bei einem Reasoning-Benchmark sagt nichts darüber aus, ob ein Modell eine bessere Kunden-E-Mail schreibt oder ein Schema über zweihundert Zeilen hinweg zuverlässiger einhält.

Benchmarks messen die Aufgaben, die leicht zu bewerten sind. Dinge mit einer richtigen Antwort. Die meiste professionelle Arbeit hat keine: Tonfall, Struktur, Urteilsvermögen darüber, was wegzulassen ist. Genau dort unterscheiden sich Modelle am meisten, und genau dort wird nichts gemessen.

Launch-Vergleiche werden vom Anbieter erstellt. Nicht unbedingt unehrlich, aber niemand veröffentlicht die Bewertung, bei der das eigene Modell Zweiter wurde.

Die Frage, die es wert ist, beantwortet zu werden, ist enger gefasst: Bei den konkreten Aufgaben, die du zwanzigmal pro Woche erledigst, welches der beiden ist besser? Darauf gibt es keine veröffentlichte Antwort, und es dauert etwa eine Stunde, sie herauszufinden.

Was sich zwischen Releases tatsächlich ändert

Bei den jüngsten Frontier-Releases liegen die Verbesserungen, die im täglichen Gebrauch zählen, durchweg in denselben Bereichen, und es sind selten die, die in der Ankündigung hervorgehoben werden.

Was sich verbessert hat	Wie du es bemerkst	Ob der Benchmark es zeigt
Befolgen von Anweisungen	Es ignoriert deine dritte Vorgabe nicht mehr	Selten
Negative Anweisungen	"Verwende keine Analogien" wird tatsächlich befolgt	Nein
Long-Context-Erinnerung	Es findet die Stelle auf Seite 140, nicht nur auf Seite 3	Teilweise
Formatierungsdisziplin	Die Tabelle hat jedes Mal die gewünschten Spalten	Nein
Kalibrierte Unsicherheit	Es sagt, dass es etwas nicht weiß, statt es zu erfinden	Nein
Kontrolle des Tonfalls	Weniger Überarbeitungen, bevor etwas versandfertig ist	Nein
Tiefe des Reasonings	Es erkennt den Grenzfall, den du übersehen hast	Ja, das ist die eine, die gemessen wird

Fünf dieser sieben sind in einer Benchmark-Grafik unsichtbar, und sie sind der Grund, warum sich ein neues Modell in der Arbeit besser oder schlechter anfühlt. Das Befolgen von Anweisungen ist insbesondere der Unterschied zwischen einem Erstentwurf, den du bearbeitest, und einem, den du wegwirfst.

Die einstündige Evaluierung

Mach das, statt Launch-Berichte zu lesen. Führe beide Modelle nebeneinander mit deinem eigenen Material aus.

1. Sammle fünf echte Aufgaben aus den letzten zwei Wochen. Echte, mit deinem tatsächlichen Kontext eingefügt, keine Spielzeug-Prompts. Nimm mindestens eine Schreibaufgabe, eine Aufgabe mit strukturierter Ausgabe und eine, bei der du über etwas Unbekanntes nachdenken musstest.
2. Schreib auf, was eine gute Antwort enthält, für jede Aufgabe in einem Satz, bevor du irgendetwas ausführst. Dieser Schritt verhindert, dass du diejenige Ausgabe bevorzugst, die länger und selbstsicherer klingt, was ein starker und weitgehend unbewusster Bias ist.
3. Führe jede Aufgabe gegen beide Modelle parallel aus, damit keine Antwort von der anderen beeinflusst wird.
4. Bewerte nach Bearbeitungsaufwand, also wie viel Arbeit zwischen der Ausgabe und etwas liegt, das du versenden würdest. Nicht danach, wie sie klingt.
5. Notiere die Größe des Abstands, nicht nur den Sieger. Austauschbare Ergebnisse sagen dir, dass du bei dieser Aufgabe aufhören kannst, über die Modellwahl nachzudenken, was wirklich nützlich ist.
6. Bewahre das Protokoll auf. In drei Monaten, wenn das nächste Release erscheint, führst du dieselben fünf Aufgaben erneut aus und hast in zwanzig Minuten eine echte Antwort.

Dieser letzte Punkt ist der, der sich aufsummiert. Ein gespeicherter Evaluierungssatz ist das Einzige, das jedes weitere Release günstig zu bewerten macht.

Sechs Prompts, die Frontier-Modelle unterscheiden

Allgemeine Fragen erzeugen von jedem fähigen Modell ähnliche Antworten. Wenn du einen Unterschied sehen willst, übe Druck auf eine bestimmte Fähigkeit aus.

• Tonfall unter Schwierigkeit. Schreib eine Notiz an einen Kunden, dass wir die Frist verpasst haben. Übernimm Verantwortung, ohne dich zu über-entschuldigen und ohne Ausreden. Unter 120 Wörter. Unterschiede im Register zeigen sich sofort.
• Negative Vorgabe. Erkläre [Konzept] ohne die Verwendung einer Analogie oder Metapher. Die Einhaltung negativer Anweisungen variiert weit stärker, als man erwarten würde.
• Strikte Extraktion. Extrahiere jedes Datum, jeden Betrag und jede Partei in ein JSON-Array mit genau diesen Schlüsseln. Wenn ein Feld fehlt, verwende null. Erfinde nichts. Testet Formatdisziplin und die Neigung, Lücken zu füllen.
• Long-Context-Erinnerung. Lade ein langes Dokument hoch und frag nach etwas in der Mitte. Zeigt den nutzbaren Kontext, was nicht dasselbe ist wie der beworbene Kontext.
• Unwissenheit zugeben. Frag nach etwas wirklich Obskurem oder sehr Aktuellem. Die beste Antwort ist ein klares "Ich weiß es nicht" oder ein quellenbasierter Abruf. Erfindungen sind hier disqualifizierend, unabhängig von jedem Benchmark.
• Einhaltung mehrerer Vorgaben. Gib sechs Vorgaben gleichzeitig und zähle, wie viele erhalten bleiben. Dieser einzelne Test sagt die tägliche Zufriedenheit besser voraus als alles andere auf der Liste.

Die Antwort lautet meist "beides, für unterschiedliche Dinge"

Menschen gehen an ein Release mit dem Wunsch nach einem Urteil heran, und der ehrliche Befund nach der Evaluierung ist fast immer geteilt. Ein Modell gewinnt beim Schreiben und beim Tonfall. Das andere gewinnt bei strikter Struktur und Geschwindigkeit. Sie liegen beim allgemeinen Reasoning nah genug beieinander, dass es nichts entscheidet.

Das ist keine Ausflucht, es ist das tatsächliche Ergebnis, und es hat eine praktische Konsequenz. Wenn du nur ein Modell nutzen kannst, entscheidest du, bei welcher Aufgabenkategorie du schlechter abschneidest. Wenn du beide nutzen kannst, wird aus der Release-Frage nicht mehr "soll ich wechseln", sondern "welche Aufgaben verschieben sich", was eine viel kleinere und risikoärmere Entscheidung ist.

Das verändert auch, was ein Release für dich bedeutet. Wenn neue Modelle in einem Arbeitsbereich landen, der bereits mehrere hat, führst du deine fünf Aufgaben erneut aus, passt dein Routing an und machst weiter. Es gibt keine Migration, kein gekündigtes Abo und keinen Monat, in dem du etwas Schlechteres nutzt, weil du dich vor dem Testen festgelegt hast.

Was du am Release-Tag tun solltest

Wechsle deine Standardeinstellungen nicht sofort. Der erste Eindruck in der Launch-Woche wird von Neuheit dominiert und davon, welche Beispiele zuerst die Runde machen.

Führe deinen Evaluierungssatz erneut aus. Zwanzig Minuten, wenn du einen vom letzten Mal aufbewahrt hast.

Prüfe die unspektakulären Dinge. Kontextfenster, ob deine bestehenden Prompts sich noch genauso verhalten, und ob sich etwas geändert hat, worauf du dich verlassen hast. Ein Modell, das allgemein besser ist, kann bei deiner spezifischen Vorlage schlechter sein, und das solltest du wissen, bevor du Produktionsarbeit darauf umstellst.

Aktualisiere das Routing pro Aufgabe, nicht pauschal. Verschiebe die Kategorien, bei denen das neue Modell klar gewonnen hat, und lass den Rest unverändert.

Warte vierzehn Tage auf die Einschränkungen. Die Fehlermodi eines neuen Modells zeigen sich innerhalb von etwa zwei Wochen breiter Nutzung, und sie stehen selten in der Ankündigung.

Den allgemeinen Rahmen findest du unter wie man ein KI-Modell auswählt, und für die Mechanik, zwei Modelle mit einem Prompt zu vergleichen, siehe Modelle nebeneinander vergleichen.