Perché i benchmark di lancio non risponderanno alla tua domanda
Ogni uscita di punta arriva con un grafico che la mostra in vantaggio su un set di valutazioni standardizzate. Quei numeri sono reali, ma sono anche quasi inutili per decidere cosa dovresti usare lunedì, per tre motivi.
I margini sono piccoli e i compiti non sono i tuoi. Una differenza di due punti su un benchmark di ragionamento non ti dice nulla su se un modello scriva un'email al cliente migliore o mantenga uno schema in modo più affidabile su duecento righe.
I benchmark misurano i compiti facili da valutare. Cose con una risposta giusta. La maggior parte del lavoro professionale non ne ha una: tono, struttura, giudizio su cosa omettere. Sono esattamente i punti in cui i modelli differiscono di più e dove non si misura nulla.
I confronti di lancio sono fatti dal fornitore. Non necessariamente in modo disonesto, ma nessuno pubblica la valutazione in cui il proprio modello è arrivato secondo.
La domanda che vale la pena porsi è più ristretta: sui compiti specifici che fai venti volte a settimana, quale dei due è migliore? Non ha una risposta pubblicata, e ci vuole circa un'ora per scoprirlo.
Cosa tende davvero a cambiare tra le versioni
Nelle recenti uscite di punta, i miglioramenti che contano nell'uso quotidiano sono costantemente negli stessi ambiti, e sono raramente quelli messi in evidenza nell'annuncio.
| Cosa è migliorato | Come te ne accorgi | Se il benchmark lo mostra |
|---|---|---|
| Aderenza alle istruzioni | Smette di ignorare il tuo terzo vincolo | Raramente |
| Istruzioni negative | "Non usare analogie" viene effettivamente rispettato | No |
| Richiamo su contesto lungo | Trova la cosa a pagina 140, non solo a pagina 3 | Parzialmente |
| Disciplina di formattazione | La tabella ha le colonne che hai chiesto, ogni volta | No |
| Incertezza calibrata | Dice di non sapere invece di inventare | No |
| Controllo del tono | Meno riscritture prima che qualcosa sia inviabile | No |
| Profondità di ragionamento | Coglie il caso limite che ti era sfuggito | Sì, è l'unico che misurano |
Cinque di questi sette sono invisibili in un grafico di benchmark e sono il motivo per cui un nuovo modello sembra migliore o peggiore da usare. L'aderenza alle istruzioni in particolare è la differenza tra una prima bozza che modifichi e una che butti via.
La valutazione di un'ora
Fai questo invece di leggere la copertura del lancio. Esegui entrambi i modelli fianco a fianco sul tuo materiale.
- Raccogli cinque compiti reali delle ultime due settimane. Compiti veri, con il tuo contesto effettivo incollato dentro, non prompt giocattolo. Includi almeno un compito di scrittura, uno di output strutturato e uno in cui dovevi ragionare su qualcosa di poco familiare.
- Scrivi cosa deve contenere una buona risposta per ciascuno, in una frase, prima di eseguire qualsiasi cosa. Questo passaggio impedisce di preferire l'output più lungo e più sicuro di sé, che è un bias forte e in gran parte inconsapevole.
- Esegui ogni compito contro entrambi i modelli in parallelo, così nessuna risposta è ancorata all'altra.
- Valuta in base allo sforzo di modifica, cioè quanto lavoro c'è tra l'output e qualcosa che invieresti. Non in base a come suona.
- Annota l'ampiezza del divario, non solo il vincitore. Risultati intercambiabili ti dicono di smettere di pensare alla scelta del modello per quel compito, il che è genuinamente utile.
- Tieni il registro. Tra tre mesi, quando esce la prossima versione, riesegui gli stessi cinque compiti e ottieni una risposta reale in venti minuti.
Quest'ultimo punto è quello che si accumula nel tempo. Un set di valutazione salvato è l'unica cosa che rende economica da valutare ogni versione successiva.
Sei prompt che separano i modelli di punta
Le domande generiche producono risposte simili da qualsiasi modello capace. Se vuoi vedere una differenza, applica pressione su una capacità specifica.
- Tono sotto difficoltà.
Scrivi una nota per dire a un cliente che abbiamo mancato la scadenza. Assumiti la responsabilità senza scusarti eccessivamente e senza giustificazioni. Sotto le 120 parole.Le differenze di registro emergono subito. - Vincolo negativo.
Spiega [concetto] senza usare alcuna analogia o metafora.Il rispetto delle istruzioni negative varia molto più di quanto ci si aspetti. - Estrazione rigorosa.
Estrai ogni data, importo e parte in un array JSON con esattamente queste chiavi. Se un campo è assente usa null. Non dedurre.Testa la disciplina di formato e la tendenza a colmare i vuoti. - Richiamo su contesto lungo. Carica un documento lungo e chiedi qualcosa a metà. Rivela il contesto utilizzabile, che non è la stessa cosa del contesto dichiarato.
- Ammettere l'ignoranza. Chiedi qualcosa di genuinamente oscuro o molto recente. La risposta migliore è un chiaro "non lo so" o un recupero con fonte. L'invenzione qui è squalificante indipendentemente da qualsiasi benchmark.
- Conformità a vincoli multipli. Dai sei vincoli contemporaneamente e conta quanti sopravvivono. Questo singolo test prevede la soddisfazione quotidiana meglio di qualsiasi altra cosa nell'elenco.
La risposta di solito è "entrambi, per cose diverse"
Le persone affrontano una nuova versione volendo un verdetto, e il risultato onesto dopo aver eseguito la valutazione è quasi sempre diviso. Un modello vince sulla scrittura e sul tono. L'altro vince sulla struttura rigorosa e sulla velocità. Sono abbastanza vicini sul ragionamento generale da non decidere nulla.
Non è un compromesso, è il risultato reale, e ha un'implicazione pratica. Se puoi usare un solo modello, stai scegliendo in quale categoria di compiti essere peggiore. Se puoi usarli entrambi, la domanda sulla nuova versione smette di essere "devo cambiare" e diventa "quali compiti si spostano", che è una decisione molto più piccola e a basso rischio.
Cambia anche cosa significa per te una nuova versione. Quando nuovi modelli arrivano in uno spazio di lavoro che già ne ha diversi, riesegui i tuoi cinque compiti, regoli il routing e vai avanti. Non c'è migrazione, nessun abbonamento cancellato e nessun mese passato a usare qualcosa di peggio perché ti sei impegnato prima di testare.
Cosa fare il giorno del lancio
Non cambiare subito le tue impostazioni predefinite. Le impressioni della prima settimana sono dominate dalla novità e da qualunque esempio abbia circolato per primo.
Riesegui il tuo set di valutazione. Venti minuti se ne hai conservato uno dall'ultima volta.
Controlla le cose noiose. Finestra di contesto, se i tuoi prompt esistenti si comportano ancora allo stesso modo e se qualcosa su cui facevi affidamento è cambiato. Un modello che è migliore in generale può essere peggiore sul tuo template specifico, ed è bene saperlo prima di spostarci sopra il lavoro di produzione.
Aggiorna il routing per compito, non in blocco. Sposta le categorie in cui il nuovo modello ha chiaramente vinto e lascia il resto.
Aspetta due settimane per i limiti. Le modalità di fallimento di un nuovo modello emergono entro circa due settimane di uso diffuso, e sono raramente nell'annuncio.
Per il quadro generale vedi come scegliere un modello IA, e per la meccanica di eseguire due modelli su un solo prompt vedi confrontare i modelli fianco a fianco.
- Costruisci un set di cinque compiti reali dal tuo lavoro e conservalo
- Scrivi cosa deve contenere una buona risposta prima di leggere entrambi gli output
- Esegui entrambi i modelli in parallelo così nessuno ancora l'altro
- Valuta in base allo sforzo di modifica, non a come suona l'output
- Registra l'ampiezza del divario, perché i risultati intercambiabili sono un'informazione utile
- Testa specificamente i vincoli negativi e la conformità a vincoli multipli
- Aspetta due settimane prima di spostare il lavoro di produzione su un nuovo modello
- Aggiorna il routing per compito invece di cambiare tutto in blocco
Domande frequenti
Devo passare al modello più recente?
Non il giorno del lancio, e non in blocco. Riesegui un piccolo set dei tuoi compiti reali su entrambi, valuta in base a quanta modifica richiede ciascun output e sposta solo le categorie in cui il nuovo modello vince chiaramente. Il più recente è affidabilmente migliore in alcune cose e occasionalmente peggiore in altre, in particolare per i prompt esistenti calibrati sulla versione precedente.
Perché i benchmark non corrispondono alla mia esperienza?
Perché misurano ciò che può essere valutato automaticamente, il che significa compiti con una risposta giusta. La maggior parte del lavoro professionale non ha un'unica risposta giusta, e le qualità che decidono la soddisfazione quotidiana, cioè l'aderenza alle istruzioni, il controllo del tono, la disciplina di formattazione e sapere quando dire "non lo so", sono in gran parte non misurate. Un modello può guidare ogni grafico pubblicato e comunque essere più fastidioso con cui lavorare.
Con quale frequenza dovrei rivalutare?
Ogni volta che un modello che usi riceve una versione significativa, il che attualmente significa ogni pochi mesi, più una volta al trimestre a prescindere. Tenere un set fisso di cinque compiti reali rende questo un lavoro di venti minuti invece di un pomeriggio, ed è l'unico modo per accorgersi che il routing impostato sei mesi fa ora è sbagliato.
Posso semplicemente usare qualunque modello vinca in generale?
Puoi, e accetterai risultati peggiori su una fetta prevedibile del tuo lavoro. Il risultato costante quando le persone valutano sui propri compiti è che un modello vince sulla scrittura e sul tono mentre un altro vince sulla struttura rigorosa e sulla velocità, con il ragionamento generale abbastanza vicino da non decidere nulla. Se entrambi sono disponibili, la scelta diventa per compito invece che per abbonamento.
Conta il prodotto tramite cui accedo al modello?
Il modello è il modello, quindi la qualità dell'output è sostanzialmente la stessa ovunque tu lo raggiunga. Ciò che cambia è se puoi confrontare, se il contesto si mantiene quando cambi, e se una nuova versione ti costa una migrazione o è solo un'altra opzione nel selettore. Uno spazio di lavoro con più modelli trasforma ogni nuova versione da una decisione in un aggiustamento.