MLM (Masked Language Model) nedir?
MLM, cümledeki gizli kelimeleri tahmin ederek eğitilen dil modelidir. Metin yazmaktan çok metni anlamada güçlüdür; en bilinen örneği BERT.
MLM nedir?
Masked Language Model (maskeli dil modeli), eğitim sırasında cümlelerdeki bazı kelimeleri gizleyip modelden bunları tahmin etmesini isteyen bir yöntemle öğrenen modeldir. "Sabah kahvaltıda [MASKE] ile çay içtik" cümlesinde model boşluğa "simit" ya da "peynir" gibi uygun bir kelime koymayı öğrenir.
Bu tür modellerin en bilineni Google'ın 2018'de tanıttığı BERT'tir. BERT eğitim sırasında kelimelerin yaklaşık yüzde 15'ini gizler.
GPT tipi modellerden farkı
ChatGPT'nin arkasındaki GPT tipi modeller metni soldan sağa okur ve bir sonraki kelimeyi tahmin eder; bu yüzden metin üretmede iyidirler. MLM ise gizlenen kelimeyi tahmin ederken cümlenin hem solundaki hem sağındaki kelimelere bakar. Bu çift yönlü okuma, bir kelimenin anlamını bağlamıyla birlikte kavramada avantaj sağlar ama akıcı uzun metin yazmaya uygun değildir.
GPT tipi model hikâyeyi devam ettiren bir yazara benzer. MLM ise boşluk doldurma sorularını cümlenin tamamını görerek çözen bir okura benzer.
Nerelerde kullanılır?
MLM'ler bugün sohbet ekranında değil, arka planda çalışır:
- Arama: sorgu ile belge arasındaki anlam benzerliğini ölçmek. Google, 2019'da BERT'i arama sonuçlarını iyileştirmek için kullanmaya başladığını duyurdu.
- Embedding üretmek: RAG sistemlerinde kullanılan birçok embedding modeli BERT ailesinden gelir.
- Sınıflandırma: spam tespiti, duygu analizi, müşteri taleplerini konulara ayırma.
- Varlık tanıma: metinden kişi, şirket, tarih ve tutar çıkarmak.
Hâlâ önemli mi?
Evet. Büyük üretken modeller gündemi kaplasa da MLM'ler küçük, hızlı ve ucuz oldukları için anlama ve sınıflandırma işlerinde yaygın biçimde kullanılmaya devam ediyor. RoBERTa, DeBERTa ve Türkçe için eğitilmiş BERTurk bu ailenin bilinen üyeleridir.