Stanford'un Halcyon modeli az hesaplamayla görsel üretiyor

Stanford Üniversitesi'nden Keshigeyan Chandrasegaran, Fei-Fei Li ve Jiajun Wu'nun da aralarında bulunduğu araştırmacılar, Radical Numerics ile birlikte geliştirdikleri Halcyon model ailesini 20 Ekim'de Hugging Face'te yayımladı. Halcyon, metinden görsel üreten, erken birleştirmeli ve otoregresif bir model ailesi. Modeller, GPIC adlı 100 milyon görsel-metin çiftinden oluşan bir veri kümesiyle, önceden herhangi bir dil eğitimi almadan sıfırdan eğitildi.

Araştırmacılara göre 0,52 milyar parametreli Halcyon, LlamaGen-XL/8 modelini 18,2 kat daha az ön eğitim hesaplamasıyla geride bırakıyor (gFD ölçüsünde 48,0'a karşı 63,3). 1,6 milyar parametreli Halcyon ise JiT-T2I-XXL/8++ modelini 275 kat daha az hesaplamayla geçiyor (35,3'e karşı 41,0). Bu ölçüde düşük puan daha iyi sonucu gösteriyor. Sonuçlar araştırmacıların kendi makalesinden; bağımsız tekrar henüz yok.

Çalışmanın en dikkat çekici sonucu, kontrollü deneylerde yalnızca metinle yapılan ön eğitimin metinden görsel üretimi iyileştirmediğinin görülmesi. Bugün birçok görsel üretim sistemi, metni anlamak için önceden büyük dil modelleriyle eğitilmiş bileşenler kullanıyor; bunun gerekli olduğu varsayılıyordu. Halcyon'un bulgusu, iyi seçilmiş görsel-metin çiftleriyle doğrudan eğitimin bu ek maliyete gerek bırakmayabileceğini gösteriyor.

Otoregresif görsel üretim, görseli küçük parçalara bölüp bu parçaları bir dil modelinin kelime ürettiği gibi sırayla üretme yöntemi; difüzyon modellerine alternatif. Erken birleştirme (early fusion) ise metin ve görsel bilgisinin modelin en başından aynı yapı içinde birlikte işlenmesi; iki ayrı modeli sonradan birbirine bağlamak yerine tek bir modelin her iki türü de baştan öğrenmesi. gFD, üretilen görsellerin gerçek görsellere istatistiksel olarak ne kadar benzediğini ölçen bir kalite puanı.

Görsel üretim modellerini eğitmek bugün büyük şirketlerin tekelinde; çünkü maliyetin büyük kısmı devasa hesaplama ihtiyacından geliyor. Hesaplama gereksinimini onlarca, hatta yüzlerce kat düşüren yöntemler, üniversitelerin, küçük laboratuvarların ve sektöre özel model geliştirmek isteyen şirketlerin bu alana girmesini mümkün kılabilir. Fei-Fei Li'nin ImageNet ile görüntü tanıma alanını demokratikleştirdiği düşünülürse, ekibin verimlilik odağı tesadüf değil.

Halcyon şimdilik bir araştırma modeli; ticari görsel üretim araçlarının kalitesine ulaştığı iddia edilmiyor. Karşılaştırmalar belirli rakip modellerle ve belirli bir ölçüyle yapıldı. Yaklaşımın çok daha büyük ölçeklerde aynı verimliliği koruyup korumadığı henüz bilinmiyor.

Modelin ağırlıkları Hugging Face'te paylaşıldığı için diğer araştırmacılar sonuçları kendi ortamlarında tekrar edebilecek; bu, bulguların ne kadar sağlam olduğunu kısa sürede gösterecek.

Halcyon'un arkasındaki GPIC veri kümesi de çalışmanın önemli bir parçası. 100 milyon görsel-metin çifti, bugün büyük modellerin eğitildiği milyarlarca görselle karşılaştırıldığında küçük bir veri kümesi. Araştırmacıların vurguladığı nokta, verinin miktarından çok eşleşmelerin kalitesi: her görselin onu doğru ve ayrıntılı anlatan bir metinle eşleşmesi. Bu yaklaşım, "daha fazla veri her zaman daha iyi" varsayımını sorgulayan çalışmalara yeni bir örnek ekliyor.

Görsel içerik üretiyor ya da kendi modelini eğitmeyi düşünüyorsan:

• Veri kalitesine yatırım yap. Halcyon'un başarısının merkezinde iyi seçilmiş 100 milyon görsel-metin çifti var; kendi alanında da az ama temiz veri, çok ama dağınık veriden değerli.
• Sektöre özel model seçeneğini yeniden değerlendir. Eğitim maliyetleri düşüyor; ürün fotoğrafı ya da teknik çizim gibi dar alanlarda kendi modelin artık daha ulaşılabilir olabilir.
• Araştırma sonuçlarını kendi testinle doğrula. Makaledeki puanlar senin kullanım alanındaki kaliteyi garanti etmez.