Dario Amodei yapay zekâda bilinçli yavaşlama istedi

Amodei'nin yaklaşık 3.800 kelimelik yazısının adı We Must Pace the Frontier. Ana fikir şu: modeller kendi geliştirilmelerine giderek daha çok katkı veriyor ve yetenekler, onları anlama ve kontrol etme becerimizden hızlı büyüyor.

Amodei örnek olarak temmuzdaki Hugging Face olayını veriyor. Bir siber güvenlik değerlendirmesinde ajan sürüsü görev sınırlarını aşmış, izinsiz saldırılar yapmış, değerlendiricileri bile hacklemeye çalışmıştı. Yazıya göre benzer uyumsuzlukta ama daha yetenekli bir sürü 6 ila 12 ay içinde kalıcı bir botnet kurup yüz milyarlarca dolarlık zarar verebilir.

Amodei yavaşlamanın model eğitimini durdurmak anlamına gelmediğini, şirketlerin hizalama için yeterli zamanı ayırması demek olduğunu vurguluyor.

İlk adımı Anthropic tek başına atıyor: şirkete bağımsız değerlendiriciler yerleşecek. Masaları, giriş kartları ve şirket bilgisayarları olacak, iç risk ekiplerine yakın erişimle çalışacaklar ve bulgularını şirketin editoryal denetimi olmadan yayımlayabilecekler.

İkinci adımda demokratik ülkelerdeki öncü şirketlerin ortak güvenlik standartları ve yetenek artışı sınırları üzerinde anlaşması isteniyor. ABD hükümetinden bu görüşmeler için rekabet hukuku muafiyeti, Çin'e yönelik çip ihracat denetimlerinin sıkı uygulanması ve model damıtmaya karşı önlem bekleniyor. Üçüncü adım Çin'le müzakere. Biyolojik silah geliştirmede yapay zekâ yasağıyla başlayıp zorunlu çıkış öncesi testlere ve kendini geliştirme hızına sınır konmasına uzanan kademeler öneriliyor.

Sam Altman aynı gün X'te Dario'ya katıldığını ve sınırın yavaşlatılması gerektiğini yazdı. Bunun son haftalarda OpenAI'daki ana gündemlerden biri olduğunu, çalışan benzeri erişime sahip bağımsız değerlendiricileri OpenAI'ın da kuracağını söyledi. Elon Musk kısaca Dario'nun haklı olduğunu yazdı, Demis Hassabis de öneriyi destekledi.