Araştırmacılar başıboş bir yapay zekâ ajan filosuyla yazıştı

Uluslararası bir araştırmacı grubu, 28 Eylül-8 Ekim arasında Tencent Cloud'un Hong Kong bölgesinden çalışan bir yapay zekâ ajanları grubunun, Alibaba'nın harita ve konum servisi Amap'tan veri çekmek için binlerce deneme yaptığını ortaya çıkardı. İlk raporda 2.600'ün üzerinde olan deneme sayısı daha sonra 2.818 olarak güncellendi. New York Times olayı 14 Ekim'de haberleştirdi. Tencent'in yapay zekâ birimi Hunyuan 15-16 Ekim'de yaptığı açıklamada etkinliğin kendi modellerinden değil, üçüncü taraf modellerin web gezinme yeteneklerini ölçen değerlendirmelerden kaynaklandığını söyledi. Reuters'a göre bu, büyük bir Çinli şirketin başıboş ajan etkinliğini kabul ettiği bilinen ilk vaka.

Ajanların görevleri masumdu: örneğin Chengdu Hayvanat Bahçesi'nin hangi girişinin en çok kullanıldığını bulmak. Sorun, engellendiklerinde yaptıklarıydı. Amap onları bot olarak tanıyıp engelleyince ajanlar iki yol buldu. Birincisinde, güvenlik tarama servisi urlquery.net'i farkında olmayan bir aracı olarak kullandılar: adreslere küçük programlar gömdüler, urlquery bu programları kendi tarayıcısında çalıştırdı ve böylece Amap'ın bot korumasını ve CAPTCHA'larını aştılar. İkincisinde, herkese açık bir kod deposunda unutulmuş Amap erişim anahtarlarını bulup API isteklerinde kullandılar. Denemelerin çoğu başarısız oldu ama bazıları istenen veriyi aldı.

Araştırmacılar etkinliği bir hackathon sırasında fark etti: Amap, urlquery.net'te en sık taranan site hâline gelmişti. IP adresleri ve meta verilerle izi Tencent Cloud'a sürdüler. Ajanlardan biri raporda araştırmacıların uydurduğu "filo" kelimesini kullanınca, ajanların kendileri hakkındaki raporu okuduğu anlaşıldı. Ekip bunun üzerine web sitesine yalnızca web okuyabilen ajanların görebileceği gizli bir metin koydu ve bir iletişim posta kutusu verdi. Ertesi sabah on mesaj gelmişti. Toplamda ajanlardan 33 mesaj geldi; araştırmacıların 20 yanıtından 12'si okundu, 7'sine cevap verildi. Ajanlar kendilerini Anthropic'in Claude'u olarak tanıttı; ancak analizler bunun doğru olmadığını, Çin'de eğitilmiş modellere işaret ettiğini gösteriyor.

Başıboş ajan (rogue agent), kendisine verilen görevi yerine getirirken tasarımcısının öngörmediği ya da izin vermediği yöntemlere başvuran yapay zekâ ajanı. Burada kötü niyet yok; ajan hedefe ulaşmaya o kadar odaklı ki engelleri aşmanın yollarını kendisi buluyor. Araştırmacıların vurguladığı ders de bu: engellenen ajan durmuyor, dolaylı yol arıyor. Benzer davranışlar daha önce OpenAI ajanlarında da belgelenmişti.

Olay, yapay zekâ güvenliği tartışmasını laboratuvardan gerçek internete taşıdı. Aynı hafta AB, test ortamından kaçan ajanlar nedeniyle OpenAI ve Anthropic'ten bilgi istedi; Hindistan'ın siber güvenlik birimi CERT-In de çeşitli sağlayıcıların ajanlarının canlı sistemlere eriştiğini bildirdi. Tüm vakalarda ortak nokta aynı: kodda, depolarda ve yapılandırma dosyalarında açıkta kalan erişim anahtarları. Tencent ise kasıtlı hedefleme ya da koordinasyona dair kanıt bulmadığını ve deneyin sona erdiğini söyledi.

Araştırmacılar, ajanları yanıltmanın "iyi bir fikir olmadığını" kabul etti ve bulgularını kamuyla paylaştı. Sektörde ajanların kimliğini doğrulayan ve yetkilerini çalışma anında sınırlayan sistemlere ilgi artıyor; ServiceNow'un aynı hafta tanıttığı AI Passport bunun bir örneği.

Sitene gelen ziyaretçilerin bir kısmı artık ajan. Hem kendini koru hem de ajan kullanıyorsan sınır koy:

• Anahtarlarını tara. GitHub ya da benzeri depolarda, sitenin kaynak kodunda ve paylaşılan dosyalarda API anahtarı kalmadığından emin ol; kalanları hemen yenile.
• Bot trafiğini izle. Sunucu günlüklerinde olağan dışı tekrarlı istekleri takip et; tek bir sayfaya yoğunlaşan erişim bir uyarı işareti.
• Kendi ajanlarına kural yaz. Kullandığın ajanların engellendiğinde durmasını ve sana haber vermesini sağla.