AI temperature nedir?

Model hiçbir zaman bir kelime seçmez. Bir listeden seçer

Promptunu okuduktan sonra bir dil modeli, mevcut modellerde 100.000 ile 200.000 arasında değişen kelime dağarcığındaki her token için bir puan üretir ve bu puanları olasılıklara dönüştürür: "yapraklar" yüzde 45, "hava" yüzde 25, "renkler" yüzde 15 ve böyle uzun bir kuyruk boyunca devam eder. LLM nedir bunun neden böyle çalıştığını anlatır. Ardından bu listeden bir token çeker, ekler ve tüm bunu tekrar yapar.

Temperature, puanlarla çekiliş arasında uygulanır. Olasılıklar hesaplanmadan önce her puan temperature'a bölünür. 1'in altındaki bir sayıya bölmek puanlar arasındaki farkları genişletir, böylece favori daha da öne geçer. 1'in üzerindeki bir sayıya bölmek farkları daraltır, böylece uzun kuyruk gerçek bir şans elde eder. Tam olarak 0'da matematik "her zaman en yüksek puanı al"a çöker, bu yüzden 0 deterministik olarak satılır.

İsim fizikten ödünç alınmıştır; daha sıcak bir gazın parçacıkları daha rastgele hareket eder. Daha sıcak bir model daha rastgele seçilmiş kelimelere sahiptir. Modelin bilgisinde hiçbir şey değişmez; sadece çekiliş değişir.

Sayının olasılıklara ne yaptığı, adım adım

Modelin bir sonraki kelime için beş aday olarak yüzde 45, 25, 15, 10 ve 5 oranında derecelendirdiği bir prompt ele alalım. Bu, temperature 1'deki dağılımdır. Formülü 0.5'te ve 2'de uygulayın, aynı beş aday aşağıdaki gibi çıkar. Yüzdeler formülden hesaplanmıştır, ölçülmemiştir ve şekil her gerçek dağılımın yaptığı şeydir.

Beşinci adayı üç panel boyunca takip edin: yüzde 1'in altı, sonra 5, sonra 11. 500 token'lık bir cevap boyunca, her token için beşinci en iyi kelimenin seçilme şansı yüzde 11 olduğunda, bu birikerek dolaşan, uyduran ve sonunda anlamsızlaşan bir metne dönüşür, insanların oyun alanı kaydırıcısını 2'ye ittiklerinde gördüğü şey budur. En iyi adayı da okuyun: 0.5'te bile üç çekilişten birini kaybeder, yani düşük bir temperature tutarlıdır, sabit değildir.

Bu son nokta "deterministik" kelimesi için önemlidir. Anthropic'in API referansı, 0'da bile sonuçların "tamamen deterministik olmayacağını" söyler ve bu çekince gerçektir: paralel donanımdaki kayan nokta aritmetiği ve sağlayıcı tarafındaki toplu işleme, aynı promptun 0'da bile iki farklı cevap üretebileceği anlamına gelir. Aynı çıktıya ihtiyacınız varsa, onu kaydedin; ayara güvenmeyin.

Her sağlayıcı neye izin veriyor ve varsayılanlar neler

Üç şey öne çıkıyor. Her sağlayıcı varsayılan olarak 1 kullanır, yani modelin kendi olasılıklarından örnekleme yapılır, bu yüzden sıradan bir sohbette aldığınız cevaplar zaten birçok çekilişten biridir. Anthropic'in ölçeği 1'de durur, yani Claude'da temperature 1 tavan noktasıdır, OpenAI'de ise 1 orta noktadır; sayılar sağlayıcılar arasında karşılaştırılabilir değildir. Ve akıl yürütme modelleri bu ayarı reddeder: OpenAI, temperature'ı o serisi ve GPT-5 için desteklenmediğini listeler ve gönderdiğinizde bir hata döndürür, Anthropic ise genişletilmiş düşünme açık olduğunda 1 gerektirir.

Hangi görev için hangi ayar

Kural tek satırda özetlenir: doğru cevabı olan görevler için düşük, birçok iyi cevabı olan görevler için yüksek.

İki uyarı. Temperature doğruluğu kontrol etmez. 0'daki bir model en olası cevabını seçer ve en olası cevap yanlışsa, her seferinde tam bir güvenle yanlıştır, AI hallucination nedir bunu eğitim tarafından açıklar. Ve temperature ton veya uzunluk için bir kontrol değildir. Bunlar talimatlara aittir ve yeni başlayanlar için prompt mühendisliği bunları ele alır; sayı sadece modelin bir kelime üzerine ne sıklıkla kumar oynadığına karar verir.

Bir sohbet uygulamasında kaydırıcıyı neden hiç görmediniz

ChatGPT, Claude uygulaması, Gemini ve Whizi hiçbir temperature kontrolü sunmaz. Ayar, geliştirici oyun alanlarında ve API'lerde yaşar ve üç sağlayıcıdan hiçbiri kendi uygulamasının kullandığı değeri yayınlamaz. Whizi hiçbir değer göndermez, bu yüzden buradaki her model sağlayıcının varsayılanı olan 1'de çalışır. Sebep yukarıdakiyle aynıdır: varsayılan zaten çoğu görevin istediği ayardır ve yanlış yerdeki bir kaydırıcı iyi bir asistanı, hangi düğmenin bunu yaptığına dair hiçbir işaret vermeden kötü bir asistana dönüştürür.

Çoklu model çalışma alanının size sunduğu şey daha büyük bir koldur. İki farklı model, iki farklı olasılık listesidir ve aralarında geçiş yapmak cevabı herhangi bir temperature'dan çok daha fazla değiştirir. Kaydırıcının yerini alan alışkanlık şudur: tek doğru cevabı olan bir görev için ikinci bir modele sorun ve sadece hemfikir oldukları yerde hareket edin; birçok iyi cevabı olan bir görev için iki modele sorun ve seçin. Whizi'de bu, sohbet ortasında bir model değişikliğidir ve sohbet ortasında model değiştirme neyin taşındığını anlatır.

Gerçekten bu düğmeye ihtiyacınız varsa, sağlayıcının kendi API'sinde veya oyun alanında, istek başına bulunur ve yukarıdaki tablodaki aralıklar geçerlidir.