Amazon, PyTorch kodunu Trainium çiplerine taşıyan aracı açtı

Amazon Web Services, 20 Ekim'de San Jose'deki PyTorch Konferansı'nda TorchNeuron'u herkese açık betaya aldığını duyurdu. TorchNeuron, PyTorch ile yazılmış yapay zekâ kodunun Amazon'un kendi geliştirdiği Trainium çiplerinde çalışmasını sağlayan açık kaynak bir arka uç. Yazılım geçen yılın sonundan beri kapalı betadaydı; Apache 2.0 lisansıyla yayımlanıyor ve Trainium2 ile Trainium3'ü destekliyor. Bir habere göre 30'dan fazla erken müşteri aracı şimdiden kullanıyor.

Amazon'un ana mesajı basit: mevcut PyTorch kodu, cihaz tanımını değiştiren tek satırlık bir düzenlemeyle Trainium'u hedefleyebiliyor. Şirketin gösteriminde aynı eğitim betiği standart bir çipte ve Trainium'da çalıştırıldı ve Amazon modelin iki ortamda da aynı hızda öğrendiğini söyledi. Aktarılan özete göre anında çalıştırma (eager) modu, torch.compile, FSDP2, tensör ve boru hattı paralelliği ile FlashAttention doğal olarak destekleniyor.

Araç henüz tam değil. PyTorch blogundaki yazıya göre dinamik giriş boyutları gibi bazı PyTorch özellikleri desteklenmiyor ve yaklaşık 22 bin PyTorch testi atlanıyor. Bir başka habere göre modellerin yüzde 89'u sorunsuz çalışıyor; yani her on modelden biri hâlâ ek uğraş gerektirebilir. Duyuru tarihi de kaynaklara göre 19 ya da 20 Ekim olarak farklı veriliyor.

Bu, Trainium'u denemek isteyen bir ekibin önce küçük bir modelle başlayıp hangi özelliklerin eksik kaldığını görmesi gerektiği anlamına geliyor. Atlanan test sayısının beta boyunca nasıl azalacağı, aracın olgunluğunun en net göstergesi olacak.

PyTorch, yapay zekâ araştırmacılarının ve mühendislerinin en çok kullandığı model geliştirme kütüphanesi. Arka uç (backend), bu kütüphanedeki komutları belirli bir donanımın anlayacağı talimatlara çeviren katman. Nvidia'nın asıl gücü yalnızca çiplerinde değil, CUDA adlı yazılım ekosisteminde; geliştiricilerin kodu yıllardır CUDA'ya göre yazıldığı için başka çipe geçmek pahalı ve riskli. Buna sektörde CUDA kilidi deniyor. TorchNeuron, bu geçiş maliyetini sıfıra yaklaştırmayı hedefliyor.

Bulut sağlayıcılarının hepsi kendi yapay zekâ çiplerini geliştiriyor: Google TPU, Microsoft Maia, Amazon Trainium. Bu çiplerin başarısı donanımdan çok yazılıma bağlı; geliştirici kodunu kolayca taşıyamazsa en ucuz çip bile kullanılmıyor. Anthropic gibi büyük müşterilerin Trainium kullanması Amazon'a ölçek sağladı; TorchNeuron ise daha küçük ekiplerin de bu çiplere geçmesini kolaylaştırmayı amaçlıyor. Aynı hafta DeepSeek'in Huawei çiplerini destekleyen çıkarım yazılımını açması da Nvidia'nın yazılım tekeline karşı aynı yönde bir hamle.

Amazon, beta sürecinde eksik özellikleri tamamlamayı ve atlanan testlerin sayısını düşürmeyi planlıyor. Fiyat-performans karşılaştırmaları, geliştiricilerin Trainium'a ne kadar hızlı geçeceğini belirleyecek.

En çok etkilenecek grup, AWS üzerinde model eğiten ya da ince ayar yapan ekipler. Bugün bu ekiplerin çoğu Nvidia GPU'larını kiralıyor; Trainium daha ucuz olsa da kodun uyarlanması gereken zaman ve risk, geçişi caydırıyordu. TorchNeuron bu engeli kaldırırsa, AWS müşterileri aynı bütçeyle daha fazla hesaplama gücü elde edebilir. Nvidia için ise bu, en büyük müşterilerinden birinin kendi çipine yönelmesini hızlandıran bir gelişme.

Kendi modelini eğitiyor ya da ince ayar yapıyorsan:

• Tek donanıma bağlanma. Kodunu belirli bir çipe özel optimizasyonlarla doldurmadan önce taşınabilirliği düşün.
• Maliyeti karşılaştır. Aynı iş yükünü farklı çiplerde küçük ölçekte dene; fark ciddi olabilir.
• Beta riskini hesaba kat. Kritik üretim işlerini beta yazılıma taşımadan önce desteklenmeyen özellikleri kontrol et.