LCM (Large Concept Model) nedir?
LCM, metni kelimeler yerine bütün cümleler, yani fikirler düzeyinde işleyen deneysel bir model türüdür. İlk örneğini Meta tanıttı.
LCM nedir?
Bugünkü büyük dil modelleri (LLM) metni token token üretir; her adımda bir sonraki kelime parçasını tahmin eder. İnsanlar ise konuşurken genellikle önce ne söyleyeceğini fikir olarak kurar, sonra kelimeleri seçer. Large Concept Model (büyük kavram modeli) bu ikinci yola yakın bir yaklaşım dener: tahmin ettiği birim bir kelime parçası değil, bir cümlenin anlamını temsil eden "kavram"dır.
Meta'nın araştırma ekibi bu yaklaşımı Aralık 2024'te yayımladığı bir makaleyle tanıttı.
Nasıl çalışır?
- Metin cümlelere bölünür.
- Her cümle, anlamını taşıyan bir embedding vektörüne çevrilir. Meta bunun için birçok dili aynı anlam uzayında temsil eden SONAR adlı bir sistem kullandı.
- Model, önceki cümlelerin vektörlerine bakarak bir sonraki cümlenin vektörünü tahmin eder.
- Tahmin edilen vektör, istenen dilde yeniden cümleye çevrilir.
Anlam dilden bağımsız bir biçimde temsil edildiği için aynı model, fikir düzeyinde birçok dilde çalışabilir.
LLM ile farkı ne?
Bir benzetme: LLM, yazıyı klavyede harf harf ilerleterek yazan biri gibidir. LCM ise önce paragrafın ana fikirlerini sıralayan, sonra cümleleri kuran bir yazara benzer. Teorik avantajı, uzun metinlerde tutarlılığı ve dilden bağımsız düşünmeyi kolaylaştırmasıdır.
LCM'ler bugün araştırma aşamasındadır. Yaygın kullanılan sohbet asistanları token tabanlı LLM'lerle çalışmaya devam ediyor.
Neden izlemeye değer?
LCM, dil modellerinin kelime tahmininden daha soyut bir düzeyde çalışabileceğini gösteren denemelerden biridir. Kısa vadede işletmelerin doğrudan kullanacağı bir ürün değildir, ama yapay zekâ modellerinin hangi yöne evrilebileceğini anlamak için izlemeye değer bir fikirdir.