RAG nedir? Yapay zekâya kendi belgelerini okutmak
RAG, dil modelinin cevap vermeden önce ilgili belgeleri bulup okumasıdır. Böylece model cevabını önüne konan güncel bilgiye dayandırır.
RAG nedir?
RAG, İngilizce retrieval-augmented generation ifadesinin kısaltmasıdır; Türkçede "bilgi getirmeyle desteklenen üretim" diye çevrilebilir. Bir dil modelinin bildikleri eğitim verisiyle sınırlıdır. Eğitimden sonra çıkan bir yönetmeliği, şirketinizin iç prosedürünü ya da bugünkü stok durumunu bilemez. RAG bu açığı kapatır: soru geldiğinde önce ilgili belgeler bulunur, sonra model cevabı bu belgelere bakarak yazar.
Kapalı kitap ve açık kitap sınavı arasındaki farkı düşünün. RAG kullanmayan model hafızasından cevap veren öğrencidir; RAG kullanan model ise önünde ilgili sayfalar açık duran öğrencidir.
Nasıl çalışır?
- Hazırlık: belgeler (PDF'ler, web sayfaları, destek kayıtları) küçük parçalara bölünür, her parça embedding ile vektöre çevrilir ve bir vektör veritabanına yazılır.
- Arama: kullanıcının sorusu da vektöre çevrilir ve soruya anlamca en yakın parçalar bulunur.
- Cevap: bulunan parçalar soruyla birlikte modele verilir. Model cevabı bu parçalara dayanarak yazar ve istenirse hangi belgeden aldığını gösterir.
Neden kullanılır?
RAG sayesinde model, eğitim verisinde hiç olmayan kurumsal bilgiyle çalışabilir. Belgeler güncellendiği anda cevaplar da güncellenir; modeli yeniden eğitmek gerekmez. Cevap bir belgeye dayandığı için kontrol edilebilir ve halüsinasyon riski azalır. Azalır ama sıfırlanmaz: arama yanlış parçayı getirirse model de yanlış cevap verebilir.
RAG mi, fine-tuning mi?
Sık sorulan bir soru. Modelin bilgiye ihtiyacı varsa (ürünler, fiyatlar, politikalar) RAG genellikle doğru araçtır, çünkü bilgi değiştikçe yalnız belgeleri güncellersiniz. Modelin davranışını değiştirmek istiyorsanız (belirli bir yazım üslubu ya da sabit bir çıktı biçimi) fine-tuning daha uygun olabilir. Birçok sistem ikisini birlikte kullanır.
İyi bir RAG sistemi için
Kalitenin büyük kısmı arama adımında belirlenir. Belgeleri çok küçük parçalara bölmek bağlamı koparır, çok büyük parçalar ise gereksiz metinle bağlam penceresini doldurur. Vektör aramasını anahtar kelime aramasıyla birleştirmek (hibrit arama) ve bulunan sonuçları ikinci bir modelle yeniden sıralamak (reranking) isabeti belirgin şekilde artırır. Sistemi gerçek kullanıcı sorularıyla düzenli test etmek, hangi soruda yanlış belgenin geldiğini görmenin en güvenilir yoludur.
Kendi belgelerinizle çalışan bir asistan, yapay zekâ ajanı kurulumlarının da temel parçasıdır.