Czym jest temperatura AI?

Model nigdy nie wybiera słowa. Wybiera z listy

Po przeczytaniu twojego promptu model językowy wylicza wynik dla każdego tokena w swoim słowniku, od 100 000 do 200 000 w obecnych modelach, i zamienia te wyniki na prawdopodobieństwa: "liście" 45 procent, "pogoda" 25, "kolory" 15 i tak dalej wzdłuż długiego ogona. Czym jest LLM wyjaśnia, dlaczego działa to w ten sposób. Potem losuje jeden token z tej listy, dołącza go i robi to wszystko od nowa.

Temperatura jest stosowana między wyliczeniem wyników a losowaniem. Każdy wynik jest dzielony przez temperaturę, zanim policzone zostaną prawdopodobieństwa. Podziel przez liczbę mniejszą niż 1, a różnice między wynikami się powiększają, więc faworyt wysuwa się jeszcze bardziej do przodu. Podziel przez liczbę większą niż 1, a różnice się zmniejszają, więc długi ogon dostaje realną szansę. Przy dokładnie 0 matematyka sprowadza się do "zawsze bierz najwyższy wynik", dlatego 0 jest sprzedawane jako deterministyczne.

Nazwa pochodzi z fizyki, gdzie gorętszy gaz ma więcej losowo poruszających się cząsteczek. Gorętszy model ma więcej losowo wybieranych słów. Nic w wiedzy modelu się nie zmienia, zmienia się tylko losowanie.

Co ta liczba robi z prawdopodobieństwami, krok po kroku

Weźmy prompt, w którym model ocenia następne słowo jako pięciu kandydatów na 45, 25, 15, 10 i 5 procent. To rozkład przy temperaturze 1. Zastosuj wzór przy 0,5 i przy 2, a ci sami kandydaci wyjdą tak jak poniżej. Procenty są wyliczone ze wzoru, a nie zmierzone, a kształt jest taki, jak w każdym prawdziwym rozkładzie.

Prześledź piątego kandydata na przestrzeni trzech paneli: poniżej 1 procenta, potem 5, potem 11. Przy odpowiedzi liczącej 500 tokenów 11-procentowa szansa na wybranie piątego w kolejności słowa na każdym tokenie kumuluje się w tekst, który błądzi, zmyśla i w końcu przestaje mieć sens, co widać, gdy ktoś przesuwa suwak w playgroundzie na 2. A patrząc na najlepszego kandydata: nawet przy 0,5 przegrywa jedno losowanie na trzy, więc niska temperatura jest spójna, a nie stała.

Ten ostatni punkt ma znaczenie dla słowa "deterministyczny". Dokumentacja API Anthropic mówi, że nawet przy 0 wyniki "nie będą w pełni deterministyczne", i to zastrzeżenie jest realne: arytmetyka zmiennoprzecinkowa na równoległym sprzęcie oraz grupowanie zapytań po stronie dostawcy sprawiają, że ten sam prompt przy 0 może dać dwie różne odpowiedzi. Jeśli potrzebujesz identycznego wyniku, zapisz go, nie polegaj na tym ustawieniu.

Co dopuszcza każdy dostawca i jakie są wartości domyślne

Wyróżniają się trzy rzeczy. Każdy dostawca domyślnie ustawia 1, co oznacza losowanie zgodnie z własnymi prawdopodobieństwami modelu, więc odpowiedzi, które dostajesz w zwykłym czacie, są już jednym losowaniem spośród wielu. Skala Anthropic kończy się na 1, więc temperatura Claude'a równa 1 to sufit, podczas gdy OpenAI 1 to środek; liczby nie są porównywalne między dostawcami. A modele rozumujące odrzucają to ustawienie: OpenAI podaje temperaturę jako nieobsługiwaną dla serii o i GPT-5 i zwraca błąd, jeśli ją wyślesz, a Anthropic wymaga 1 zawsze, gdy włączone jest rozszerzone myślenie.

Które ustawienie do jakiego zadania

Zasada mieści się w jednym zdaniu: niżej dla zadań z jedną poprawną odpowiedzią, wyżej dla zadań z wieloma dobrymi odpowiedziami.

Dwa zastrzeżenia. Temperatura nie kontroluje prawdziwości. Model przy 0 wybiera swoją najbardziej prawdopodobną odpowiedź, a jeśli ta najbardziej prawdopodobna odpowiedź jest błędna, to jest błędna za każdym razem, z pełną pewnością, co czym jest halucynacja AI wyjaśnia od strony treningu. Temperatura nie jest też dźwignią do sterowania tonem czy długością. To należy do instrukcji, a inżynieria promptów dla początkujących to omawia; liczba decyduje tylko o tym, jak często model ryzykuje wybór słowa.

Dlaczego nigdy nie widziałeś tego suwaka w aplikacji czatowej

ChatGPT, aplikacja Claude, Gemini i Whizi nie udostępniają kontroli temperatury. Ustawienie żyje w playgroundach deweloperskich i API, a żaden z trzech dostawców nie publikuje wartości, jakiej używa jego własna aplikacja. Whizi nie wysyła żadnej, więc każdy model tutaj działa na domyślnym ustawieniu dostawcy, czyli 1. Powód jest ten sam co wyżej: domyślna wartość jest już ustawieniem, którego chce większość zadań, a suwak w niewłaściwym miejscu potrafi zamienić dobrego asystenta w złego, bez żadnego sygnału, który przełącznik to zrobił.

To, co daje ci zamiast tego przestrzeń robocza z wieloma modelami, to większa dźwignia. Dwa różne modele to dwie różne listy prawdopodobieństw, a przełączanie się między nimi zmienia odpowiedź znacznie bardziej, niż zrobiłaby to jakakolwiek temperatura. Nawyk, który zastępuje suwak: przy zadaniu z jedną poprawną odpowiedzią zapytaj drugi model i działaj tylko tam, gdzie się zgadzają; przy zadaniu z wieloma dobrymi odpowiedziami zapytaj dwa modele i wybierz. W Whizi to zmiana modelu w trakcie rozmowy, a zmiana modeli w trakcie rozmowy opisuje, co się wtedy przenosi.

Jeśli naprawdę potrzebujesz tego pokrętła, znajdziesz je we własnym API lub playgroundzie dostawcy, dla każdego zapytania osobno, a zakresy z powyższej tabeli mają wtedy zastosowanie.