Apa itu temperature AI?

Model tidak pernah memilih satu kata. Model memilih dari sebuah daftar

Setelah membaca prompt Anda, model bahasa menghasilkan skor untuk setiap token dalam kosakatanya, 100.000 hingga 200.000 pada model saat ini, lalu mengubah skor tersebut menjadi probabilitas: "daun" 45 persen, "cuaca" 25, "warna" 15, dan seterusnya menyusuri ekor panjang. Apa itu LLM membahas mengapa model bekerja seperti itu. Kemudian model mengambil satu token dari daftar itu, menambahkannya, dan mengulangi semuanya lagi.

Temperature diterapkan di antara skor dan pengambilan. Setiap skor dibagi dengan temperature sebelum probabilitas dihitung. Bagi dengan angka di bawah 1 dan celah antar skor melebar, sehingga kandidat favorit makin unggul jauh. Bagi dengan angka di atas 1 dan celah itu menyempit, sehingga ekor panjang mendapat peluang nyata. Tepat pada 0 perhitungannya menciut menjadi "selalu ambil skor teratas", itulah sebabnya 0 dijual sebagai deterministik.

Namanya dipinjam dari fisika, tempat gas yang lebih panas memiliki partikel yang bergerak lebih acak. Model yang lebih "panas" memiliki kata yang lebih acak dipilih. Tidak ada yang berubah dari pengetahuan model; hanya pengambilannya saja.

Efek angka ini pada peluang, dijabarkan langkah demi langkah

Ambil sebuah prompt yang kata berikutnya dinilai model sebagai lima kandidat pada 45, 25, 15, 10 dan 5 persen. Itu adalah distribusi pada temperature 1. Terapkan rumusnya pada 0,5 dan pada 2, dan kelima kandidat yang sama muncul seperti di bawah ini. Persentasenya dihitung dari rumus, bukan diukur, dan bentuknya adalah yang terjadi pada setiap distribusi nyata.

Perhatikan kandidat kelima di ketiga panel: di bawah 1 persen, lalu 5, lalu 11. Selama jawaban 500 token, peluang 11 persen per token untuk mengambil kata terbaik kelima berakumulasi menjadi teks yang melantur, mengarang, dan akhirnya tidak masuk akal lagi, itulah yang dilihat orang saat menggeser slider playground ke 2. Dan perhatikan kandidat teratas: bahkan pada 0,5 pun kandidat ini kalah satu dari tiga kali pengambilan, jadi temperature rendah itu konsisten, bukan tetap.

Poin terakhir itu penting untuk kata "deterministik". Referensi API Anthropic menyatakan bahwa bahkan pada 0 hasilnya "tidak akan sepenuhnya deterministik", dan peringatan itu nyata: aritmetika floating-point pada perangkat keras paralel serta batching di sisi penyedia berarti prompt yang sama pada 0 tetap bisa menghasilkan dua jawaban berbeda. Jika Anda butuh keluaran yang identik, simpan jawabannya; jangan mengandalkan setelan ini.

Apa yang diizinkan tiap penyedia, dan berapa defaultnya

Tiga hal yang menonjol. Setiap penyedia memakai default 1, artinya mengambil sampel dari peluang milik model itu sendiri, sehingga jawaban yang Anda dapat dalam chat biasa sudah merupakan satu dari sekian pengambilan yang mungkin. Skala Anthropic berhenti di 1, jadi temperature Claude sebesar 1 adalah batas atas sedangkan OpenAI 1 adalah titik tengah; angka-angka ini tidak bisa dibandingkan antar vendor. Dan model penalaran menolak setelan ini: OpenAI mencantumkan temperature sebagai tidak didukung untuk seri o dan GPT-5 lalu mengembalikan error jika Anda mengirimkannya, dan Anthropic mewajibkan 1 kapan pun extended thinking aktif.

Setelan mana untuk tugas apa

Aturannya satu baris: lebih rendah untuk tugas dengan satu jawaban benar, lebih tinggi untuk tugas dengan banyak jawaban bagus.

Dua peringatan. Temperature tidak mengontrol kebenaran. Model pada 0 memilih jawaban yang paling mungkin menurutnya, dan jika jawaban paling mungkin itu salah, jawaban itu akan selalu salah dengan keyakinan penuh setiap kali, yang dijelaskan apa itu halusinasi AI dari sisi pelatihannya. Dan temperature bukan tuas untuk nada bicara atau panjang teks. Itu urusan instruksi, dan prompt engineering untuk pemula membahasnya; angka ini hanya menentukan seberapa sering model berjudi pada sebuah kata.

Mengapa Anda tidak pernah melihat slider ini di aplikasi chat

ChatGPT, aplikasi Claude, Gemini dan Whizi tidak menampilkan kontrol temperature. Setelan ini hidup di playground pengembang dan API, dan tidak satu pun dari ketiga vendor mempublikasikan nilai yang dipakai aplikasi mereka sendiri. Whizi tidak mengirimkan nilai apa pun, jadi setiap model di sini berjalan pada default penyedia yaitu 1. Alasannya sama seperti di atas: default itu sudah menjadi setelan yang diinginkan sebagian besar tugas, dan slider di tempat yang salah mengubah asisten yang bagus menjadi buruk tanpa ada tanda mana tombol yang menyebabkannya.

Yang diberikan ruang kerja multi-model sebagai gantinya adalah tuas yang lebih besar. Dua model berbeda adalah dua daftar probabilitas berbeda, dan berpindah di antara keduanya mengubah jawaban jauh lebih banyak daripada temperature apa pun. Kebiasaan yang menggantikan slider itu: untuk tugas dengan satu jawaban benar, tanyakan ke model kedua dan bertindak hanya saat keduanya sepakat; untuk tugas dengan banyak jawaban bagus, tanyakan ke dua model dan pilih salah satunya. Di Whizi itu berarti mengganti model di tengah percakapan, dan berpindah model di tengah percakapan membahas apa yang tetap terbawa.

Jika Anda memang butuh tombol itu, tempatnya ada di API atau playground milik penyedia masing-masing, per permintaan, dan rentang pada tabel di atas berlaku.