Fine-tuning nedir, ne zaman gerekir?

Büyük dil modelleri önce çok geniş bir metin yığınıyla eğitilir. Bu aşamaya ön eğitim (pre-training) denir ve maliyeti çok yüksektir. Fine-tuning (ince ayar), bu genel modeli alıp daha küçük ve özel bir veri setiyle eğitmeye devam etmektir. Model sıfırdan öğrenmez; var olan bilgisinin üzerine yeni bir alışkanlık ekler.

Genel pratisyen bir hekimin bir alanda uzmanlık eğitimi alması gibi düşünebilirsiniz. Temel bilgi yerinde durur, belirli bir iş daha iyi yapılır hale gelir.

Önce örnek çiftleri hazırlanır: modele verilecek girdi ve beklenen doğru çıktı. Örneğin bir sigorta şirketi, müşteri e-postalarını ve bunlara verilmiş onaylı cevapları kullanabilir. Model bu örneklerle eğitilir, ardından eğitimde kullanılmamış örneklerle test edilir.

Günümüzde modelin bütün parametreleri yerine yalnız küçük bir kısmını güncelleyen yöntemler yaygındır; en bilineni LoRA'dır. Bu yöntemler maliyeti ve gereken donanımı ciddi ölçüde düşürür.

Çoğu işte önce daha ucuz yollar denenmelidir.

• Model görevi yanlış anlıyorsa önce promptu ve verdiğiniz örnekleri iyileştirin.
• Modelin bilmediği güncel ya da kurumsal bilgi gerekiyorsa RAG kullanın; bilgi değiştikçe yeniden eğitim gerekmez.
• Belirli bir üslup, sabit bir çıktı biçimi ya da çok tekrarlanan dar bir görev varsa fine-tuning mantıklıdır.

İnce ayar yapılmış küçük bir model, bu dar işte büyük bir modelden daha hızlı ve ucuz çalışabilir.

Sonucu en çok veri kalitesi belirler: hatalı örnekler hatalı davranış öğretir. Model yeni işe odaklanırken bazı genel yeteneklerini kaybedebilir; literatürde buna catastrophic forgetting (yıkıcı unutma) deniyor. Temel model yeni bir sürüme geçtiğinde ince ayarın genellikle yeniden yapılması gerekir. Eğitim verisindeki kişisel verilerin modele işlenebileceği de unutulmamalıdır; KVKK açısından veri seçimi baştan planlanmalıdır.