Yapay zekâ halüsinasyonu nedir, neden olur?

Bir dil modelinden kaynak istediğinizde var olmayan bir makale adı, olmayan bir kanun maddesi ya da hiç çıkmamış bir ürün özelliği yazabilir. Metin akıcıdır, ton kendinden emindir ama bilgi yanlıştır. Buna halüsinasyon denir. Ortada bir hata mesajı olmadığı için fark etmek zordur.

2023'te ABD'de bir avukatın, ChatGPT'nin uydurduğu mahkeme kararlarını dilekçesinde kullandığı için yaptırımla karşılaşması bu riskin en çok bilinen örneklerinden biri oldu.

Büyük dil modelleri bir bilgi bankasından kayıt çekmez, metnin devamında en olası kelimeleri üretir. Eğitim boyunca cümleyi makul biçimde tamamlamayı öğrenirler; bilgilerinin sınırında durup "bilmiyorum" demek bu eğitimin kendiliğinden ortaya çıkan bir sonucu değildir. Soru, modelin eğitimde yeterince görmediği bir konuya ya da eğitimden sonra olan bir olaya dairse model yine akıcı bir cevap kurar.

Yanlış varsayım içeren sorular riski artırır. Hiç açılmamış bir dava için "X şirketinin 2019'daki davası neyle sonuçlandı?" diye sorarsanız, model bir sonuç uydurmaya yatkındır.

• Modeli doğru bilgiyle besleyin: RAG ile cevabın dayanacağı belgeleri prompta koymak en etkili yöntemlerden biridir.
• Cevapta hangi belgeye dayandığını göstermesini isteyin; belgeye bağlanan bir iddia kontrol edilebilir.
• Modele bilmediğinde bunu söyleme izni verin ve bu kuralı system prompt içinde açıkça yazın.
• Hukuk, sağlık, finans ve fiyat gibi kritik alanlarda çıktıyı guardrail kontrolleriyle ya da insan onayıyla doğrulayın.

Temperature değerini düşürmek cevabı tutarlı yapar ama yanlış bilgiyi düzeltmez.

Bugünkü teknolojiyle hayır. Yeni nesil modeller daha az halüsinasyon görse de oran sıfır değildir. Bu yüzden müşteriyle konuşan ya da karar üreten bir sistem, halüsinasyonun olacağını varsayarak tasarlanır: model yalnız izin verilen bilgiden cevap verir, emin olmadığında konuşmayı bir insana devreder.