Ce este temperatura ai?

Modelul nu alege niciodată un cuvânt. Alege dintr-o listă

După ce îți citește promptul, un model de limbaj produce un scor pentru fiecare token din vocabularul său, între 100.000 și 200.000 la modelele actuale, și transformă aceste scoruri în probabilități: "frunze" 45 la sută, "vreme" 25, "culori" 15 și așa mai departe pe o coadă lungă. Ce este un LLM explică de ce funcționează astfel. Apoi trage un token din acea listă, îl adaugă și repetă totul.

Temperatura se aplică între scoruri și tragere. Fiecare scor este împărțit la temperatură înainte ca probabilitățile să fie calculate. Împarte la un număr sub 1 și distanțele dintre scoruri se lărgesc, așa că favoritul se detașează și mai mult. Împarte la un număr peste 1 și distanțele se micșorează, așa că coada lungă capătă o șansă reală. Exact la 0 matematica se reduce la "ia mereu scorul cel mai mare", motiv pentru care 0 este promovat drept determinist.

Numele este împrumutat din fizică, unde un gaz mai fierbinte are particule care se mișcă mai haotic. Un model mai "fierbinte" alege cuvinte mai la întâmplare. Nimic din cunoștințele modelului nu se schimbă; doar tragerea se schimbă.

Ce face numărul probabilităților, explicat pas cu pas

Ia un prompt al cărui cuvânt următor este evaluat de model ca cinci candidați la 45, 25, 15, 10 și 5 la sută. Aceasta este distribuția la temperatura 1. Aplică formula la 0.5 și la 2, iar aceiași cinci candidați rezultă ca mai jos. Procentele sunt calculate din formulă, nu măsurate, iar forma este cea pe care o are orice distribuție reală.

Citește al cincilea candidat de-a lungul celor trei panouri: sub 1 procent, apoi 5, apoi 11. Pe parcursul unui răspuns de 500 de tokeni, o șansă de 11 la sută pe token de a alege al cincilea cuvânt se acumulează într-un text care devine divagant, inventează lucruri și în cele din urmă nu mai are sens, exact ce văd oamenii când împing un slider de test la 2. Și citește candidatul principal: chiar și la 0.5 pierde o tragere din trei, deci o temperatură mică este constantă, nu fixă.

Acest ultim aspect contează pentru cuvântul "determinist". Documentația API a Anthropic spune că, chiar și la 0, rezultatele "nu vor fi complet deterministe", iar rezerva este reală: aritmetica în virgulă mobilă pe hardware paralel și procesarea în loturi la nivelul furnizorului înseamnă că același prompt la 0 poate produce în continuare două răspunsuri diferite. Dacă ai nevoie de un rezultat identic, salvează-l; nu te baza pe setare.

Ce permite fiecare furnizor și care sunt valorile implicite

Trei lucruri ies în evidență. Fiecare furnizor folosește implicit 1, ceea ce înseamnă eșantionare din propriile probabilități ale modelului, deci răspunsurile pe care le primești într-un chat obișnuit sunt deja o tragere printre multe altele. Scala Anthropic se oprește la 1, deci o temperatură Claude de 1 este plafonul, în timp ce un OpenAI de 1 este punctul de mijloc; numerele nu sunt comparabile între furnizori. Iar modelele de raționament resping setarea: OpenAI listează temperatura ca nesuportată pentru seria o și GPT-5 și returnează o eroare dacă o trimiți, iar Anthropic cere valoarea 1 ori de câte ori gândirea extinsă este activă.

Ce setare pentru ce sarcină

Regula încape într-un rând: mai scăzută pentru sarcini cu un singur răspuns corect, mai ridicată pentru sarcini cu multe răspunsuri bune.

Două avertismente. Temperatura nu controlează adevărul. Un model la 0 alege răspunsul cel mai probabil, iar dacă răspunsul cel mai probabil este greșit, va fi greșit de fiecare dată, cu încredere totală, lucru pe care ce este o halucinație de IA îl explică din perspectiva antrenării. Iar temperatura nu este pârghia pentru ton sau lungime. Acestea aparțin instrucțiunilor, iar prompt engineering pentru începători le acoperă; numărul decide doar cât de des riscă modelul cu un cuvânt.

De ce nu ai văzut niciodată sliderul într-o aplicație de chat

ChatGPT, aplicația Claude, Gemini și Whizi nu expun niciun control de temperatură. Setarea trăiește în playground-uri și API-uri pentru dezvoltatori, iar niciunul dintre cei trei furnizori nu publică valoarea folosită în propria aplicație. Whizi nu trimite nicio valoare, deci fiecare model de aici rulează la valoarea implicită a furnizorului, care este 1. Motivul este cel de mai sus: valoarea implicită este deja setarea pe care majoritatea sarcinilor și-o doresc, iar un slider în locul greșit transformă un asistent bun într-unul rău, fără niciun semnal despre care buton a făcut-o.

Ce îți oferă în schimb un spațiu de lucru multi-model este o pârghie mai mare. Două modele diferite sunt două liste de probabilități diferite, iar comutarea între ele schimbă răspunsul mult mai mult decât ar face-o orice temperatură. Obiceiul care înlocuiește sliderul: pentru o sarcină cu un singur răspuns corect, întreabă un al doilea model și acționează doar unde sunt de acord; pentru o sarcină cu multe răspunsuri bune, întreabă două modele și alege. În Whizi asta înseamnă o schimbare de model în mijlocul conversației, iar schimbarea modelelor în mijlocul conversației explică ce se păstrează.

Dacă chiar ai nevoie de buton, îl găsești în API-ul sau playground-ul propriu al furnizorului, per cerere, iar intervalele din tabelul de mai sus se aplică.