Yapay zekâda memory (hafıza) nedir?

Bir dil modeli her istekte yalnız o anda kendisine verilen metni görür. Dün yaptığınız konuşma bugün ayrıca verilmezse modelin dünyasında yoktur. Sohbet uygulamalarında modelin hatırladığını hissetmenizin sebebi, uygulamanın önceki mesajları her seferinde yeniden bağlam penceresine koymasıdır. Pencere dolunca en eski mesajlar düşer.

Kısa süreli hafıza, o anki konuşmanın pencerede duran kısmıdır. Uzun süreli hafıza ise konuşmalar arasında taşınan bilgidir: kullanıcının adı, tercihleri, geçmiş siparişleri, daha önce verilmiş kararlar.

Uzun süreli hafıza genellikle şöyle çalışır: sistem konuşmadan önemli bilgileri çıkarıp bir veritabanına yazar. Yeni bir konuşmada soruyla ilgili kayıtları arar (çoğu zaman bir vektör veritabanı ile) ve bulduklarını modele verir. ChatGPT, Claude ve Gemini gibi asistanlar bu tür bir hafıza özelliğini kullanıcılara sunuyor; kullanıcı neyin hatırlandığını görüp silebiliyor.

Yapay zekâ ajanları birden fazla adımda çalıştığı için hafızaya daha çok ihtiyaç duyar. Hangi adımı tamamladığını, hangi aracın ne sonuç verdiğini ve kullanıcının neyi onayladığını takip etmesi gerekir. Uzun görevlerde ajan, ara sonuçları bir not dosyasına ya da veritabanına yazar ve gerektiğinde geri okur.

Yanlış kaydedilmiş bir bilgi sonraki bütün konuşmalara taşınır. Kişisel verilerin saklanması KVKK kapsamındadır: neyin, ne kadar süre ve hangi amaçla tutulduğu açık olmalı, kullanıcı silinmesini isteyebilmelidir. İyi tasarlanmış bir hafıza her şeyi kaydetmez, işe yarayanı seçer ve eskiyen bilgiyi günceller.