De ce benchmark-urile de lansare nu răspund la întrebarea ta
Fiecare lansare de vârf vine cu un grafic care îl arată în frunte la un set de evaluări standardizate. Acele cifre sunt reale și, în același timp, aproape inutile pentru a decide ce să folosești luni, din trei motive.
Marjele sunt mici, iar sarcinile nu sunt ale tale. O diferență de două puncte la un benchmark de raționament nu îți spune nimic despre dacă un model scrie un email mai bun către client sau respectă mai fidel o schemă pe două sute de rânduri.
Benchmark-urile măsoară sarcinile ușor de punctat. Lucruri cu un răspuns corect. Cea mai mare parte a muncii profesionale nu are așa ceva: tonul, structura, judecata despre ce să omiți. Exact acolo diferă modelele cel mai mult și exact acolo nu se măsoară nimic.
Comparațiile de lansare sunt făcute de furnizor. Nu neapărat necinstit, dar nimeni nu publică evaluarea în care modelul lui a ieșit al doilea.
Întrebarea care merită un răspuns e mai îngustă: la sarcinile specifice pe care le faci de douăzeci de ori pe săptămână, care dintre cele două e mai bun? La asta nu există un răspuns publicat, iar aflarea lui durează cam o oră.
Ce se schimbă de fapt între lansări
În lansările recente de vârf, îmbunătățirile care contează în folosirea zilnică apar constant în aceleași zone și rareori sunt cele evidențiate în anunț.
| Ce s-a îmbunătățit | Cum observi | Dacă apare în benchmark |
|---|---|---|
| Respectarea instrucțiunilor | Nu mai ignoră a treia ta constrângere | Rar |
| Instrucțiuni negative | "Nu folosi analogii" chiar este respectat | Nu |
| Recuperarea contextului lung | Găsește lucrul de la pagina 140, nu doar de la pagina 3 | Parțial |
| Disciplina formatării | Tabelul are coloanele cerute, de fiecare dată | Nu |
| Incertitudine calibrată | Spune că nu știe în loc să inventeze | Nu |
| Controlul tonului | Mai puține rescrieri înainte ca ceva să poată fi trimis | Nu |
| Profunzimea raționamentului | Prinde cazul limită pe care l-ai ratat | Da, asta e ceea ce măsoară ei |
Cinci din cele șapte sunt invizibile într-un grafic de benchmark și sunt motivul pentru care un model nou pare mai bun sau mai slab de folosit. Respectarea instrucțiunilor, în special, face diferența dintre o primă variantă pe care o editezi și una pe care o arunci.
Evaluarea de o oră
Fă asta în loc să citești articolele despre lansare. Rulează ambele modele în paralel pe propriul tău material.
- Adună cinci sarcini reale din ultimele două săptămâni. Reale, cu contextul tău actual lipit în ele, nu prompturi jucărie. Include cel puțin o sarcină de scriere, una de output structurat și una în care ai avut nevoie de raționament despre ceva necunoscut.
- Notează ce trebuie să conțină un răspuns bun pentru fiecare, într-o singură propoziție, înainte să rulezi ceva. Acesta e pasul care te împiedică să preferi orice output e mai lung și mai încrezător, o părtinire puternică și, în mare parte, inconștientă.
- Rulează fiecare sarcină pe ambele modele în paralel, astfel încât niciun răspuns să nu fie ancorat de celălalt.
- Evaluează efortul de editare, adică cât de multă muncă e între output și ceva ce ai trimite. Nu cum sună.
- Notează mărimea diferenței, nu doar câștigătorul. Rezultatele interschimbabile îți spun să nu te mai gândești la alegerea modelului pentru sarcina respectivă, ceea ce e cu adevărat util.
- Păstrează jurnalul. Peste trei luni, când apare următoarea lansare, rulezi din nou aceleași cinci sarcini și obții un răspuns real în douăzeci de minute.
Ultimul punct e cel care se acumulează în timp. Un set de evaluare salvat e singurul lucru care face ca fiecare lansare ulterioară să fie ieftin de evaluat.
Șase prompturi care separă modelele de vârf
Întrebările generale produc răspunsuri similare de la orice model capabil. Dacă vrei să vezi o diferență, pune presiune pe o capacitate specifică.
- Tonul sub presiune.
Scrie un mesaj către un client în care îi spui că am depășit termenul limită. Asumă-ți responsabilitatea fără să te scuzi excesiv și fără explicații. Sub 120 de cuvinte.Diferențele de registru apar imediat. - Constrângere negativă.
Explică [concept] fără să folosești nicio analogie sau metaforă.Respectarea instrucțiunilor negative variază mult mai mult decât te-ai aștepta. - Extracție strictă.
Extrage fiecare dată, sumă și parte într-un array JSON cu exact aceste chei. Dacă un câmp lipsește, folosește null. Nu deduce.Testează disciplina formatului și tendința de a completa golurile. - Recuperarea contextului lung. Încarcă un document lung și întreabă despre ceva de la mijloc. Dezvăluie contextul utilizabil, care nu e același lucru cu contextul promovat.
- Recunoașterea ignoranței. Întreabă despre ceva cu adevărat obscur sau foarte recent. Cel mai bun răspuns e un clar "nu știu" sau o recuperare cu surse. Inventarea de informații aici e descalificantă, indiferent de benchmark.
- Respectarea mai multor constrângeri. Dă șase constrângeri deodată și numără câte supraviețuiesc. Acest singur test prezice satisfacția zilnică mai bine decât orice altceva de pe listă.
Răspunsul e de obicei "ambele, pentru lucruri diferite"
Oamenii abordează o lansare vrând un verdict, iar concluzia onestă după rularea evaluării e aproape mereu împărțită. Un model câștigă la scriere și ton. Celălalt câștigă la structură strictă și viteză. Sunt suficient de apropiate la raționamentul general încât asta nu decide nimic.
Nu e o eschivă, e rezultatul real, și are o implicație practică. Dacă poți folosi un singur model, alegi de fapt categoria de sarcini la care vei fi mai slab. Dacă poți folosi ambele, întrebarea lansării nu mai e "să schimb sau nu", ci devine "ce sarcini se mută", o decizie mult mai mică și cu miză mai mică.
Asta schimbă și ce înseamnă o lansare pentru tine. Când modele noi apar într-un spațiu de lucru care are deja mai multe, rulezi din nou cele cinci sarcini, îți ajustezi rutarea și mergi mai departe. Nu există migrare, nici abonament anulat, nici o lună în care folosești ceva mai slab pentru că te-ai angajat înainte să testezi.
Ce faci în ziua lansării
Nu schimba imediat setările implicite. Impresiile din săptămâna lansării sunt dominate de noutate și de orice exemple au circulat primele.
Rulează din nou setul tău de evaluare. Douăzeci de minute, dacă ai păstrat unul de data trecută.
Verifică lucrurile plictisitoare. Fereastra de context, dacă prompturile tale existente se comportă la fel și dacă s-a schimbat ceva pe care te bazai. Un model care e mai bun în general poate fi mai slab pe șablonul tău specific, și merită să știi asta înainte să muți munca de producție pe el.
Actualizează rutarea pe sarcină, nu în bloc. Mută categoriile în care modelul nou a câștigat clar și lasă restul.
Așteaptă două săptămâni pentru limitări. Modurile de eșec ale unui model nou apar la suprafață în aproximativ două săptămâni de utilizare pe scară largă și rareori sunt menționate în anunț.
Pentru cadrul general, vezi cum alegi un model IA, iar pentru mecanica rulării a două modele pe același prompt, vezi compararea modelelor unul lângă altul.
- Construiește un set de cinci sarcini reale din propria ta muncă și păstrează-l
- Notează ce trebuie să conțină un răspuns bun înainte să citești vreun output
- Rulează ambele modele în paralel, astfel încât niciunul să nu-l ancoreze pe celălalt
- Evaluează efortul de editare, nu cum sună output-ul
- Notează mărimea diferenței, fiindcă rezultatele interschimbabile sunt informații utile
- Testează special constrângerile negative și respectarea mai multor constrângeri
- Așteaptă două săptămâni înainte să muți munca de producție pe un model nou
- Actualizează rutarea pe sarcină, nu prin schimbare în bloc
Întrebări frecvente
Ar trebui să trec la cel mai nou model?
Nu în ziua lansării și nu în bloc. Rulează din nou un set mic din propriile tale sarcini reale pe ambele, evaluează cât de multă editare are nevoie fiecare output și mută doar categoriile unde modelul nou câștigă clar. Cel nou e constant mai bun la unele lucruri și ocazional mai slab la altele, mai ales pentru prompturile existente reglate pe versiunea anterioară.
De ce benchmark-urile nu se potrivesc cu experiența mea?
Pentru că măsoară ce poate fi punctat automat, adică sarcini cu un singur răspuns corect. Cea mai mare parte a muncii profesionale nu are un singur răspuns corect, iar calitățile care decid satisfacția zilnică, adică respectarea instrucțiunilor, controlul tonului, disciplina formatării și știutul când să spui "nu știu", rămân în mare parte nemăsurate. Un model poate conduce în fiecare grafic publicat și, totuși, să fie mai enervant de folosit.
Cât de des ar trebui să reevaluez?
Ori de câte ori un model pe care îl folosești primește o lansare importantă, ceea ce în prezent înseamnă la câteva luni, plus o dată pe trimestru, indiferent de asta. Păstrarea unui set fix de cinci sarcini reale transformă asta într-un job de douăzeci de minute, nu de o după-amiază, și e singurul mod de a observa că rutarea stabilită acum șase luni e acum greșită.
Pot să folosesc pur și simplu modelul care câștigă în ansamblu?
Poți, și vei accepta rezultate mai slabe pe o parte previzibilă din munca ta. Constatarea constantă atunci când oamenii evaluează pe propriile sarcini e că un model câștigă la scriere și ton, iar altul câștigă la structură strictă și viteză, cu raționamentul general suficient de apropiat încât să nu decidă nimic. Dacă ai ambele la dispoziție, alegerea devine pe sarcină, nu pe abonament.
Contează prin ce produs accesez modelul?
Modelul e modelul, așa că, în linii mari, calitatea output-ului e aceeași indiferent de unde îl accesezi. Ce diferă e dacă poți compara, dacă contextul se păstrează când schimbi și dacă o lansare nouă te costă o migrare sau e doar o altă opțiune în listă. Un spațiu de lucru cu mai multe modele transformă fiecare lansare dintr-o decizie într-o ajustare.