Come confrontare i modelli AI fianco a fianco in Whizi

La risposta breve

Premi Confronta nell'intestazione della chat, scegli un modello per ogni colonna e invia un prompt a entrambi. Ogni colonna mantiene una propria conversazione nascosta, quindi nessun modello vede la risposta dell'altro e nessuna risposta è condizionata dall'altra, il che è l'unico motivo per cui il confronto ha un senso. Le colonne generano il testo una dopo l'altra, prima a sinistra e poi a destra, perché per account viene eseguita una generazione alla volta.

Il confronto fianco a fianco è una funzione Powerhouse ed esegue due modelli alla volta. Ogni risposta viene addebitata alla tariffa in crediti del proprio modello, quindi confrontare un modello da 10 crediti con uno da 20 crediti costa 30 crediti.

Usalo per decidere quale modello impostare come predefinito per un certo tipo di lavoro. Se invece vuoi migliorare una risposta piuttosto che confrontarne due, fai l'altra cosa: cambia modello all'interno dello stesso thread e chiedi al secondo di criticare il primo.

Perché i benchmark non rispondono alla tua domanda

I benchmark pubblicati misurano le prestazioni su compiti standardizzati. La tua domanda è più circoscritta e più utile: quale modello è migliore in ciò che fai personalmente venti volte a settimana. Sono domande diverse, e la seconda non ha una risposta pubblicata perché nessuno ha il tuo carico di lavoro.

Inviare un prompt a due modelli richiede circa trenta secondi e risponde direttamente alla domanda. La parte importante non è ottenere due risposte, ma scoprire quanto è ampio il divario tra loro. A volte le risposte sono quasi identiche, il che ti dice di smettere di pensare alla scelta del modello per quel compito. A volte una è inutilizzabile, ed è meglio saperlo prima di costruirci sopra un flusso di lavoro.

L'altra cosa che il confronto rivela è l'errore espresso con sicurezza. Quando due modelli danno risposte sostanzialmente diverse a una domanda fattuale, almeno una è sbagliata, e non lo avresti scoperto leggendo una sola risposta. Questo segnale non è disponibile in un flusso di lavoro con un solo modello, a nessun costo.

Decidi cosa significa migliore prima di leggere

La trappola del confronto fianco a fianco è preferire la risposta più lunga, più sicura o più curata. Questi non sono indicatori di qualità. Scegli prima il tuo criterio, poi leggi.

Compito	Cosa significa migliore	Cosa ignorare
Scrittura	Richiede meno modifiche per essere inviabile	Lunghezza, vocabolario, entusiasmo
Ricerca fattuale	Fonti che si verificano e sostengono l'affermazione	Scorrevolezza e sicurezza
Estrazione	Schema corretto, nessun campo inventato, etichette coerenti	Qualità della prosa attorno alla tabella
Ragionamento	I passaggi reggono e il caso limite è affrontato	Se la conclusione coincide con la tua ipotesi iniziale
Codice	Gestisce il percorso di errore, è revisionabile	Ingegnosità, brevità
Sintesi	Mantiene ciò che conta e scarta ciò che non conta	Esaustività

Un trucco pratico: prima di leggere una delle due risposte, scrivi una frase che descriva cosa dovrebbe contenere una buona risposta. Poi leggi. Richiede dieci secondi e previene il bias della rifinitura, che è forte e per lo più inconsapevole.

Per le domande fattuali, controlla il disaccordo piuttosto che il vincitore. Quando due modelli concordano su un numero specifico e su una fonte, la fiducia è ragionevole. Quando divergono, è quello il punto da verificare, ed è il risultato più prezioso di tutto l'esercizio.

Prompt che mettono in luce differenze reali

Alcuni compiti separano nettamente i modelli e altri no. Se vuoi imparare qualcosa da un confronto, usa prompt che mettono sotto pressione una capacità specifica.

• Tono in difficoltà. Write a note to a client explaining that we missed the deadline, taking responsibility without over-apologising and without excuses. Under 120 words. Le differenze di registro emergono qui immediatamente.
• Estrazione rigorosa. Extract every date, amount, and party from this text into a JSON array with exactly these keys. If a field is absent, use null. Do not infer. Mette alla prova la disciplina di formato e la tendenza a inventare.
• Ragionamento con trappola. Proponi un problema con una risposta sbagliata plausibile, come una domanda su tassi o proporzioni dove la via intuitiva è scorretta. I modelli differiscono nel prendere o meno la scorciatoia.
• Richiamo su contesto lungo. Carica un documento lungo e fai una domanda su qualcosa nel mezzo. Rivela il contesto realmente utilizzabile, non quello dichiarato.
• Ammettere l'ignoranza. What was announced about [something genuinely obscure or very recent]? La risposta migliore è un chiaro "non lo so" o un recupero con fonti. Inventare qui squalifica la risposta.
• Rispettare un vincolo negativo. Explain X without using any analogy or metaphor. L'aderenza alle istruzioni negative varia più di quanto ci si aspetti.

Esegui i confronti sul tuo lavoro reale piuttosto che su enigmi. Un modello più bravo con il tuo report trimestrale è più utile di uno più bravo con un indovinello logico.

Trasformare una settimana di confronti in una mappa di instradamento

Un singolo confronto è interessante. Una settimana di confronti è utilizzabile. La routine:

1. Per cinque giorni, ogni volta che un compito conta davvero, eseguilo su due modelli invece che su uno.
2. Annota il tipo di compito, il vincitore e quanto era ampio il divario. Bastano tre parole.
3. Alla fine della settimana, guarda dove un modello ha vinto ripetutamente e dove le risposte erano intercambiabili.
4. Imposta i tuoi predefiniti a partire da questo, e smetti di confrontare sui compiti dove il divario era costantemente nullo.

Ciò che le persone trovano di solito è che il confronto conta su una minoranza del loro lavoro ed è una perdita di tempo sul resto. Ricerche fattuali rapide, riscritture semplici e formattazioni di routine raramente separano i modelli. Testi che verranno letti da un cliente, ricerche che informeranno una decisione e ragionamenti su qualcosa di non familiare li separano molto.

Quel risultato è il vantaggio: smetti di confrontare dove non fa alcuna differenza e lo mantieni per i compiti in cui cambia l'esito.

Fianco a fianco contro sequenziale

Due tecniche diverse, che vale la pena distinguere.

Fianco a fianco esegue lo stesso prompt su due modelli che non possono vedere la risposta l'uno dell'altro. Ogni colonna mantiene una propria conversazione nascosta, denominata con un prefisso [Compare] e tenuta fuori dalla barra laterale, così le domande di approfondimento restano un test equo: entrambi i modelli mantengono un contesto multi-turno indipendente. È lo strumento giusto per scegliere un modello predefinito e per individuare disaccordi fattuali.

Sequenziale significa ottenere una risposta, poi cambiare modello nello stesso thread e chiedere al nuovo di criticarla. Usalo quando vuoi che venga trovato il difetto piuttosto che fatto un confronto, perché il secondo modello può confrontarsi direttamente con l'argomento specifico. Vedi cambiare modello a metà conversazione.

Regola approssimativa: fianco a fianco per decidere quale modello, sequenziale per migliorare una risposta.