SLM (küçük dil modeli) nedir?
SLM, büyük modellere göre çok daha küçük, telefonda ya da dizüstü bilgisayarda çalışabilen dil modelidir. Dar işlerde hızlı ve ucuzdur.
SLM nedir?
Small Language Model (küçük dil modeli), büyük dil modellerinin (LLM) hafif kardeşidir. Kesin bir sınır olmasa da genellikle birkaç yüz milyon ile birkaç milyar parametre arasındaki modeller bu adla anılır; en büyük modeller ise yüz milyarlarca parametreye ulaşır. Microsoft'un Phi, Google'ın Gemma ve Meta'nın Llama ailesinin küçük sürümleri bilinen örneklerdir.
Küçük olmanın avantajı ne?
Küçük bir model daha az bellek ve daha az hesap ister. Bu sayede bulut yerine telefonda, dizüstü bilgisayarda ya da şirketin kendi sunucusunda çalışabilir. Veriler dışarı çıkmadığı için gizlilik gereksinimlerini karşılamak kolaylaşır. Inference maliyeti düşer, cevap daha hızlı gelir ve gecikme azalır. Bazı küçük modeller internet bağlantısı olmadan da çalışabilir.
Neyi iyi, neyi kötü yapar?
SLM'ler dar ve iyi tanımlanmış işlerde güçlüdür: e-postaları sınıflandırmak, metin özetlemek, formlardan bilgi çıkarmak ve basit sohbetler. Belirli bir işe fine-tuning ile uyarlandıklarında o işte büyük modellere yaklaşabilirler.
Geniş genel bilgi, çok adımlı akıl yürütme ve uzun, karmaşık belgeler ise hâlâ büyük modellerin alanıdır. Küçük modeller bu tür görevlerde daha çok hata yapar ve halüsinasyona daha yatkındır.
İşletmeler nasıl kullanıyor?
Yaygın bir yöntem, işleri zorluğuna göre dağıtmaktır: gelen taleplerin çoğunu hızlı ve ucuz bir SLM karşılar, zor olanlar büyük modele gider. Bu yönlendirme orkestrasyon katmanında yapılır. Böylece kalite korunurken toplam maliyet düşer.