Temperature nedir? Modelin yaratıcılık ayarı
Temperature, modelin sonraki kelimeyi seçerken ne kadar risk alacağını belirler. Düşük değer tutarlı, yüksek değer çeşitli cevap verir.
Temperature nedir?
Dil modeli her adımda bir sonraki token için olası adayların listesini ve her birinin olasılığını hesaplar. Temperature (sıcaklık) bu olasılıkların nasıl kullanılacağını ayarlar. Düşük temperature'da model hemen her zaman en olası adayı seçer. Yüksek temperature'da daha düşük olasılıklı adaylara da şans verir; cevaplar çeşitlenir, bazen şaşırtıcı hale gelir.
"Kahvaltıda en çok ... yenir" cümlesini düşünün. Düşük temperature neredeyse her seferinde "peynir" gibi en olası kelimeyi seçer. Yüksek temperature bazen "simit", bazen "menemen" der.
Hangi değer ne işe yarar?
Değer çoğu API'de 0 ile 1 ya da 0 ile 2 arasında ayarlanır. Veri çıkarmak, kod yazmak ve sınıflandırma yapmak gibi tek doğru cevabı olan işlerde düşük değerler kullanılır. Reklam metni, isim önerisi ya da beyin fırtınası gibi çeşitlilik istenen işlerde daha yüksek değerler denenir. Değer çok yükseldiğinde metin tutarlılığını kaybetmeye ve anlamsızlaşmaya başlar.
Temperature 0 her zaman aynı cevabı verir mi?
Çoğunlukla verir ama garantisi yoktur. Donanım ve yazılım düzeyindeki küçük hesaplama farkları yüzünden aynı prompt sıfır temperature'da bile zaman zaman farklı çıktı verebilir. Birebir tekrarlanabilirlik gerekiyorsa üretilen çıktıyı kaydedip yeniden kullanmak daha güvenlidir.
Temperature ve halüsinasyon
Düşük temperature modeli tutarlı yapar, doğru yapmaz. Model yanlış bir bilgiyi yüksek olasılıklı sanıyorsa sıfır temperature'da da onu tekrarlar. Halüsinasyonu azaltmanın yolu modele doğru bilgiyi vermektir, örneğin RAG ile.
Temperature'a benzeyen bir başka ayar top-p'dir: model yalnız toplam olasılığı belirli bir eşiğe ulaşan en güçlü adaylar arasından seçer. Genellikle ikisinden yalnız biri değiştirilir.