Model nikdy nevybírá slovo. Vybírá ze seznamu
Po přečtení promptu vytvoří jazykový model skóre pro každý token ve svém slovníku, u dnešních modelů 100 000 až 200 000 tokenů, a tato skóre převede na pravděpodobnosti: "listy" 45 procent, "počasí" 25, "barvy" 15 a tak dále po dlouhém chvostu. Co je LLM vysvětluje, proč to funguje takto. Poté z tohoto seznamu vybere jeden token, připojí ho a celý proces opakuje.
Teplota se uplatňuje mezi výpočtem skóre a samotným výběrem. Každé skóre se před výpočtem pravděpodobností vydělí teplotou. Dělíte-li číslem menším než 1, rozdíly mezi skóre se zvětší, takže favorit se ještě více odpoutá od zbytku. Dělíte-li číslem větším než 1, rozdíly se zmenší, a dlouhý chvost tak dostane reálnou šanci. Přesně při 0 se výpočet zjednoduší na "vždy vezmi nejvyšší skóre", a proto se 0 prezentuje jako deterministická.
Název je vypůjčený z fyziky, kde má teplejší plyn více náhodně se pohybujících částic. Teplejší model má více náhodně volených slov. Na znalostech modelu se nic nemění, mění se jen samotný výběr.
Co číslo dělá s pravděpodobnostmi, krok za krokem
Vezměme prompt, jehož další slovo model ohodnotí jako pět kandidátů s 45, 25, 15, 10 a 5 procenty. To je rozložení při teplotě 1. Aplikujte vzorec při 0,5 a při 2 a stejní kandidáti vyjdou takto. Procenta jsou dopočítána podle vzorce, nikoli naměřena, a tvar odpovídá tomu, jak se chová každé skutečné rozložení.
Sledujte pátého kandidáta napříč třemi panely: méně než 1 procento, pak 5, pak 11. U odpovědi o 500 tocích se 11procentní šance na pátý nejlepší token na každém tokenu nasčítá do textu, který bloudí, vymýšlí si a nakonec přestává dávat smysl, což je přesně to, co lidé vidí, když v playgroundu posunou posuvník na 2. A sledujte i nejlepšího kandidáta: i při 0,5 prohrává jeden výběr ze tří, takže nízká teplota je konzistentní, nikoli pevná.
Tento poslední bod je důležitý pro slovo "deterministický". Dokumentace API Anthropicu uvádí, že výsledky "nebudou plně deterministické" ani při 0, a tato výhrada je reálná: aritmetika s pohyblivou desetinnou čárkou na paralelním hardwaru a dávkové zpracování na straně poskytovatele znamenají, že stejný prompt při 0 může stále vyprodukovat dvě různé odpovědi. Pokud potřebujete identický výstup, uložte si ho, nespoléhejte se na toto nastavení.
Co povoluje každý poskytovatel a jaké jsou výchozí hodnoty
| Poskytovatel | Rozsah | Výchozí | Poznámky |
|---|---|---|---|
| OpenAI | 0 až 2 | 1 | Reasoning modely (řada o, GPT-5 s reasoningem) tento parametr nepřijímají |
| Anthropic | 0 až 1 | 1 | Odmítá požadavky, které nastaví oba parametry zároveň, u Opus 4.1 a novějších |
| Google Gemini | 0 až 2 | 1 | Zobrazeno jako posuvník v AI Studiu |
| OpenRouter | Předává dál | Výchozí hodnota poskytovatele | Cesta, kterou Whizi využívá k připojení ke každému modelu |
Vyniknou tři věci. Každý poskytovatel má výchozí hodnotu 1, což znamená vzorkování podle vlastních pravděpodobností modelu, takže odpovědi, které dostanete v běžném chatu, jsou už jedním výběrem z mnoha možných. Škála Anthropicu končí u 1, takže teplota Claude 1 je stropem, zatímco OpenAI 1 je středem, čísla mezi poskytovateli tedy nelze srovnávat. A reasoning modely toto nastavení odmítají: OpenAI uvádí teplotu jako nepodporovanou u řady o a GPT-5 a při jejím zaslání vrátí chybu, Anthropic zase vyžaduje hodnotu 1, kdykoli je zapnuté rozšířené uvažování.
Jaké nastavení pro jaký úkol
Pravidlo se vejde do jedné věty: nižší hodnota pro úkoly se správnou odpovědí, vyšší pro úkoly s mnoha dobrými odpověďmi.
| Úkol | Teplota | Proč |
|---|---|---|
| Extrakce do tabulky nebo JSON, klasifikace, kód | 0 až 0,3 | Existuje jeden správný tvar, odchylka je chyba |
| Shrnutí, překlad, faktické otázky | 0,3 až 0,7 | Trocha volnosti ve formulaci, ale žádné vymýšlení |
| Psaní návrhů, přepisování, brainstorming | 0,7 až 1 | Výchozí hodnota poskytovatele, pestré, ale soudržné |
| Beletrie, jména, slogany, záměrně neobvyklé nápady | 1 až 1,3 | Jde právě o slova z dlouhého chvostu |
| Nad 1,5 | Výjimečně | Soudržnost klesá dřív, než stoupne originalita |
Dvě upozornění. Teplota neřídí pravdivost. Model při 0 volí svou nejpravděpodobnější odpověď, a pokud je tato nejpravděpodobnější odpověď špatná, bude špatná pokaždé a s naprostou jistotou, což z hlediska tréninku vysvětluje co je halucinace AI. A teplota není páka pro tón nebo délku. Ty patří do instrukcí, kterým se věnuje prompt engineering pro začátečníky; číslo jen rozhoduje, jak často model vsadí na méně obvyklé slovo.
Proč jste posuvník v chatovací aplikaci ještě nikdy neviděli
ChatGPT, aplikace Claude, Gemini ani Whizi žádné ovládání teploty nenabízí. Toto nastavení žije ve vývojářských playgroundech a API a žádný ze tří dodavatelů nezveřejňuje hodnotu, kterou používá jeho vlastní aplikace. Whizi žádnou teplotu neposílá, takže každý model zde běží na výchozí hodnotě poskytovatele, tedy 1. Důvod je stejný jako výše: výchozí hodnota už je nastavení, které chce většina úkolů, a posuvník na špatném místě dokáže z dobrého asistenta udělat špatného, aniž byste poznali, který knoflík za to může.
Multi-modelový pracovní prostor vám místo toho dává mnohem větší páku. Dva různé modely jsou dva různé seznamy pravděpodobností, a přepnutí mezi nimi změní odpověď mnohem víc než jakákoli teplota. Nový návyk, který posuvník nahrazuje: u úkolu s jednou správnou odpovědí se zeptejte druhého modelu a jednejte jen tam, kde se shodnou; u úkolu s mnoha dobrými odpověďmi se zeptejte dvou modelů a vyberte si. Ve Whizi to znamená změnu modelu uprostřed konverzace a přepínání modelů uprostřed konverzace popisuje, co se přitom přenáší dál.
Pokud daný knoflík skutečně potřebujete, najdete ho ve vlastním API nebo playgroundu daného poskytovatele, na úrovni jednoho požadavku, a platí pro něj rozsahy z tabulky výše.
- Pro cokoli s jedním správným tvarem použijte 0 až 0,3: extrakci, klasifikaci, kód
- Pro psaní návrhů a přepisování nechte výchozí hodnotu 1, na tu jsou poskytovatelé vyladění
- Nikdy neberte 0 jako záruku identického výstupu, uložte si odpověď, kterou chcete zachovat
- Nesahejte po teplotě, abyste opravili tón, délku nebo přesnost, to jsou problémy instrukcí
- Když chatovací aplikace nemá posuvník, změňte místo toho model, to posune odpověď víc než jakákoli teplota
Časté dotazy
Co znamená teplota 0 u AI?
Při teplotě 0 model vždy vezme svůj jediný nejpravděpodobnější další token místo vzorkování, takže stejný prompt téměř pokaždé dá stejnou odpověď. Dokumentace API Anthropicu uvádí, že výsledky "nebudou plně deterministické" ani při 0, protože hardware a dávkové zpracování mohou stále přinést drobné rozdíly. Je to správné nastavení pro extrakci, klasifikaci a kód, a nijak nezaručuje, že nejpravděpodobnější odpověď bude správnější.
Jaká je nejlepší teplota pro ChatGPT?
V aplikaci ChatGPT ji nastavit nelze a OpenAI nezveřejňuje hodnotu, kterou aplikace používá. Přes API použijte 0 až 0,3 pro strukturovaný výstup a faktickou extrakci, 0,7 až 1 pro psaní, a nad 1 jen pro záměrně pestrý kreativní text. Reasoning modely OpenAI vrátí chybu, pokud tento parametr vůbec pošlete.
Jaký je rozdíl mezi teplotou a top-p?
Teplota přetváří celý seznam pravděpodobností, zaostřuje ho nebo vyrovnává. Top-p seznam ořízne, ponechá jen nejpravděpodobnější tokeny, jejichž pravděpodobnosti dají dohromady p, a vybírá pouze z nich. Obě metody snižují nebo zvyšují náhodnost. OpenAI doporučuje měnit jen jednu z nich a Anthropic odmítne požadavek, který nastaví obě zároveň u Opus 4.1 a novějších.
Dělá vyšší teplota AI kreativnější?
Vede k tomu, že model častěji volí méně pravděpodobná slova, což do zhruba 1,3 působí kreativně a nad zhruba 1,5 nesouvisle. V uvedeném příkladu zvýšení teploty z 1 na 2 zvedne šanci pátého nejlepšího kandidáta z 5 na 11 procent na každém tokenu, a to se u dlouhé odpovědi nasčítá. Kreativita ve smyslu lepšího nápadu vzniká z promptu a modelu, ne z tohoto ovladače.
Můžu ve Whizi změnit teplotu?
Ne. Whizi žádnou teplotu neposílá, takže každý model běží na výchozí hodnotě poskytovatele; ChatGPT, aplikace Claude i Gemini rovněž žádné ovládání nenabízejí a žádnou hodnotu nezveřejňují. Odpovídající páka v multi-modelovém pracovním prostoru je výběr modelu: dva modely jsou dvě různá rozložení pravděpodobností a přepnutí uprostřed konverzace změní odpověď víc než jakékoli nastavení teploty.
