Apa itu temperature dalam AI?

Model tidak pernah memilih satu perkataan. Ia memilih daripada satu senarai

Selepas membaca prompt anda, model bahasa menghasilkan skor untuk setiap token dalam kosa katanya, 100,000 hingga 200,000 pada model masa kini, dan menukar skor itu kepada kebarangkalian: "daun" 45 peratus, "cuaca" 25, "warna" 15, dan seterusnya menurun sepanjang ekor yang panjang. Apa itu LLM menerangkan sebab ia berfungsi begitu. Kemudian ia mengambil satu token daripada senarai itu, menambahkannya, dan mengulangi semuanya lagi.

Temperature digunakan antara skor dan pemilihan. Setiap skor dibahagikan dengan temperature sebelum kebarangkalian dikira. Bahagikan dengan nombor bawah 1 dan jurang antara skor melebar, jadi calon kegemaran makin mendahului. Bahagikan dengan nombor atas 1 dan jurang mengecil, jadi ekor panjang mendapat peluang sebenar. Pada tepat 0 pengiraan runtuh kepada "sentiasa ambil skor teratas", sebab itulah 0 dijual sebagai deterministik.

Namanya dipinjam daripada fizik, di mana gas yang lebih panas mempunyai lebih banyak zarah bergerak secara rawak. Model yang lebih "panas" mempunyai lebih banyak perkataan dipilih secara rawak. Tiada apa dalam pengetahuan model yang berubah; hanya cara pemilihan itu yang berubah.

Apa kesan nombor ini terhadap kebarangkalian, dihuraikan langkah demi langkah

Ambil satu prompt yang perkataan seterusnya dinilai model sebagai lima calon pada 45, 25, 15, 10 dan 5 peratus. Itulah taburan pada temperature 1. Gunakan formula pada 0.5 dan pada 2 dan lima calon yang sama terhasil seperti di bawah. Peratusan ini dikira daripada formula, bukan diukur, dan bentuknya adalah apa yang berlaku pada setiap taburan sebenar.

Lihat calon kelima merentasi tiga panel itu: bawah 1 peratus, kemudian 5, kemudian 11. Sepanjang jawapan 500 token, peluang 11 peratus setiap token untuk mengambil perkataan kelima terbaik itu berkumpul menjadi teks yang menyimpang, mereka-reka dan akhirnya tidak masuk akal, itulah yang dilihat orang apabila mereka menolak slider playground ke 2. Dan lihat calon teratas: walaupun pada 0.5 ia kalah satu daripada tiga pemilihan, jadi temperature rendah adalah konsisten, bukan tetap.

Perkara terakhir itu penting untuk perkataan "deterministik". Rujukan API Anthropic menyatakan bahawa walaupun pada 0, keputusan "tidak akan sepenuhnya deterministik", dan amaran itu benar: aritmetik titik terapung pada perkakasan selari dan pengelompokan sebelah penyedia bermakna prompt yang sama pada 0 masih boleh menghasilkan dua jawapan berbeza. Jika anda perlukan output yang sama persis, simpannya; jangan bergantung pada tetapan itu.

Apa yang dibenarkan setiap penyedia, dan apa nilai lalainya

Tiga perkara menonjol. Setiap penyedia lalai pada 1, bermakna sampel daripada kebarangkalian model itu sendiri, jadi jawapan yang anda dapat dalam chat biasa sudah pun satu pemilihan antara banyak. Skala Anthropic berhenti pada 1, jadi temperature Claude pada 1 ialah siling manakala OpenAI pada 1 ialah titik tengah; nombor-nombor ini tidak boleh dibandingkan antara vendor. Dan model penaakulan menolak tetapan ini: OpenAI menyenaraikan temperature sebagai tidak disokong untuk siri-o dan GPT-5 serta memulangkan ralat jika anda menghantarnya, dan Anthropic memerlukan 1 apabila extended thinking dihidupkan.

Tetapan mana untuk tugas yang mana

Peraturannya satu baris sahaja: lebih rendah untuk tugas dengan satu jawapan yang betul, lebih tinggi untuk tugas dengan banyak jawapan baik.

Dua amaran. Temperature tidak mengawal kebenaran. Model pada 0 memilih jawapan yang paling berkemungkinan, dan jika jawapan yang paling berkemungkinan itu salah, ia salah setiap kali dengan keyakinan penuh, seperti yang diterangkan apa itu halusinasi AI dari sudut latihan. Dan temperature bukan tuil untuk nada atau panjang. Itu tergolong dalam arahan, dan kejuruteraan prompt untuk pemula membincangkannya; nombor itu hanya menentukan kekerapan model bertaruh pada satu perkataan.

Sebab anda tidak pernah nampak slider itu dalam aplikasi chat

ChatGPT, aplikasi Claude, Gemini dan Whizi tidak mendedahkan sebarang kawalan temperature. Tetapan ini berada dalam playground dan API pembangun, dan tiada satu pun daripada tiga vendor itu menerbitkan nilai yang digunakan aplikasi mereka sendiri. Whizi tidak menghantar apa-apa, jadi setiap model di sini berjalan pada lalai penyedia iaitu 1. Sebabnya sama seperti di atas: lalai itu sudah pun tetapan yang dikehendaki kebanyakan tugas, dan slider di tempat yang salah menukar pembantu yang baik menjadi buruk tanpa sebarang isyarat kenapi butang mana yang menyebabkannya.

Apa yang diberikan ruang kerja berbilang model sebagai gantinya ialah tuil yang lebih besar. Dua model berbeza ialah dua senarai kebarangkalian yang berbeza, dan bertukar antara keduanya mengubah jawapan jauh lebih daripada temperature mana pun. Tabiat yang menggantikan slider itu: untuk tugas dengan satu jawapan yang betul, tanya model kedua dan bertindak hanya di mana kedua-duanya bersetuju; untuk tugas dengan banyak jawapan baik, tanya dua model dan pilih. Dalam Whizi itu ialah menukar model di tengah perbualan, dan menukar model di tengah perbualan menerangkan apa yang kekal dibawa.

Jika anda benar-benar perlukan butang itu, ia berada dalam API atau playground penyedia sendiri, setiap permintaan, dan julat dalam jadual di atas terpakai.