Meta, gigavat ölçekli Prometheus kümesinin içini anlattı

Meta, 19 Ekim'de mühendislik blogunda Ohio eyaletinin New Albany kentindeki Prometheus kümesini ayrıntılı olarak anlatan bir yazı yayımladı. Şirketin mühendisleri Kevin Lee, Yashar Bayani, Ahmed Sharif ve Yee Jiun Song imzalı yazıya göre kümenin ilk aşaması tamamlandı ve Meta'nın Muse model ailesi, Muse Wonder dahil, bu aşamada eğitildi. Meta şimdi kümeyi yaklaşık 1 milyon GPU'nun aynı anda, tek bir eğitim işi için çalışacağı ölçeğe büyütmeye çalışıyor. Yazı, şirketin 21 Ekim'deki üçüncü çeyrek bilançosundan iki gün önce yayımlandı.

Prometheus bugün birbirine bağlı birkaç binada yüz binlerce GPU çalıştırıyor; bu binaların bir kısmı hızlı kurulum için tasarlanmış geçici yapılar. Aktarılan verilere göre ön eğitim işlerinde verimli çalışma oranı yüzde 85'in, pekiştirmeli öğrenme işlerinde yüzde 90'ın üzerinde. Kesintiler arasındaki ortalama süre yaklaşık 47 bin GPU saatiydi; yazılım düzeltmelerinden sonra 54 binin üzerine çıktı. Kümede Nvidia'nın iki NVL72 nesli üretimde; ilki Catalina adlı, Meta'nın Open Rack V3 tasarımına dayanan GB200 NVL72 rafları. Yeni Vera Rubin NVL72 platformu da yakında devreye girecek.

Yazının en çarpıcı ayrıntısı, kampüsün yaklaşık iki yıl önce sıradan bir web trafiği veri merkezi olması. Meta, yapay zekâ yarışında geride kalmamak için klasik veri merkezi inşasının yıllar süren takvimini beklemedi; çadır benzeri hızlı kurulum yapıları kullanarak kapasiteyi aylar içinde artırdı. Bu yaklaşım, enerji ve soğutma altyapısının hızlı genişletilmesini de gerektirdi.

Hızlı kurulum yapıları, yapay zekâ altyapısında "önce kapasite, sonra kalıcı bina" yaklaşımının sektörde yayılmasına da örnek oluyor.

Verimli çalışma oranı (goodput), bir kümenin toplam zamanının ne kadarının gerçekten ilerleme kaydeden hesaplamaya gittiğini gösterir; arızalar, yeniden başlatmalar ve kayıt alma süreleri bu oranı düşürür. Yüz binlerce GPU'nun tek bir iş için birlikte çalıştığı bir kümede, tek bir çipin arızası tüm işi durdurabilir. Kesintiler arası ortalama süre bu yüzden kritik: bu süre uzadıkça eğitim daha az kesilir, daha az hesaplama boşa gider. Yüzde birlik iyileşme bile milyonlarca dolarlık tasarruf anlamına gelebilir.

Büyük teknoloji şirketleri yapay zekâ altyapısına yüz milyarlarca dolar harcıyor ve yatırımcılar bu harcamanın karşılığını sorguluyor. Meta'nın bilanço öncesinde kümenin verimliliğini öne çıkarması, harcamanın boşa gitmediğini gösterme çabası olarak okunabilir. Aynı hafta SemiAnalysis, 2027'de dünya genelinde yaklaşık 50 gigavat yeni veri merkezi kapasitesinin devreye gireceğini öngördü. Prometheus, bu yarışta tek bir şirketin ne ölçekte düşündüğünün somut örneği.

Gigavat ölçekli bir küme, orta büyüklükte bir şehrin elektrik tüketimine yakın güç çekiyor. Meta, 2035'e uzanan nükleer enerji anlaşmalarıyla bu talebi karşılamaya çalışıyor. Enerji, yapay zekâ yatırımlarının en kıt girdisi hâline geldi; çip tedariki çözülse bile şebekeye bağlanma süreleri projeleri yıllarca geciktirebiliyor. İngiltere'de Nscale projesinin şebeke erişimi 2030'lara kalan bir sahada yaşadığı sorun bunun güncel örneği.

Gigavat ölçeği senin işinden çok uzak görünebilir, ama sonuçları değil:

• Model fiyatlarının düşmesini bekle ama planını ona bağlama. Büyük kümeler model maliyetini düşürüyor; yine de enerji kıtlığı fiyatları dalgalandırabilir.
• Verimliliği kendi ölçeğinde düşün. Yapay zekâ kullanımında boşa giden istekleri, tekrar eden sorguları ve gereksiz büyük modeli tespit et.
• Enerji maliyetini stratejine kat. Veri merkezi ya da yoğun bilişim gerektiren bir işin varsa, enerji erişimi artık bir rekabet unsuru.