AlexNet: 2012 atılımının arkasındaki CUDA mühendisliği

2012'de AlexNet atılımı, CUDA destekli GPU'larla eşleştirilen derin sinir ağlarının onlarca yıllık geleneksel bilgisayarla görü mühendisliğini geride bırakabileceğini kanıtladı. ImageNet Large Scale Visual Recognition Challenge'da (ILSVRC) Alex Krizhevsky, Ilya Sutskever ve Geoffrey Hinton, %15,3'lük top-5 hata oranına ulaşarak ikinci olan %26,2'yi yaklaşık 11 puan farkla geçti.

Donanım Darboğazı ve Çözümü

O dönemde PyTorch ve TensorFlow gibi derin öğrenme çerçeveleri yoktu ve tüketici GPU'larının ciddi bellek sınırları vardı.

• Tüketici Oyun Donanımı: Ekip, ağı bir yatak odasında iki tüketici sınıfı NVIDIA GTX 580 GPU kullanarak eğitti. Her kartın yalnızca 3 GB VRAM'i vardı; bu, 60 milyon parametreli ağın tamamını tek bir çipe sığdırmak için yeterli değildi.

• CUDA ile Model Paralelliği: Alex Krizhevsky, ağı iki GPU arasında dikey olarak bölmek için özel CUDA C++ kernel'leri (cuda-convnet) yazdı. Her GPU, nöronların ve kernel'lerin yarısını kendi 3 GB bellek havuzunda sakladı.

• Seçici GPU'lar Arası İletişim: GPU'lar arasında anakartın PCIe veri yolu üzerinden veri aktarımı yavaş olduğundan, Krizhevsky GPU'ları yalnızca belirli katmanlarda (örneğin 3. Katman) iletişim kuracak şekilde programladı. Diğer katmanlar her kartta tamamen bağımsız çalışarak bant genişliği darboğazlarını en aza indirdi.

Temel Mimari Atılımlar

Ham CUDA hesaplama gücüne sahip olmak, ekibin daha önce ölçekli olarak test edilemeyecek kadar yavaş olan birkaç kritik tekniği birleştirmesini sağladı:

• Derin Mimari: AlexNet, önceki sinir ağlarından çok daha derin olan 8 öğrenilmiş katmanı (5 evrişimli katmanı takiben 3 tam bağlantılı katman) üst üste dizdi.

• ReLU Aktivasyon Fonksiyonu: Geleneksel tanh veya sigmoid matematiği yerine Rectified Linear Units (ReLU) kullandılar. ReLU, CUDA'da hesaplama açısından basittir ve derin ağın gradyanlar kaybolmadan yaklaşık altı kat daha hızlı eğitilmesini sağladı.

• Veri Artırma ve Dropout: GPU'lar matris matematiğini işlerken CPU, aşırı öğrenmeyi önlemek için gerçek zamanlı görüntü dönüşümleri (kırpma ve çevirme) üretti. Ayrıca, ağı sağlam özellikler öğrenmeye zorlamak için eğitim sırasında nöronları rastgele kapatan Dropout uyguladılar.

Neden Derin Öğrenme Devrimini Tetikledi

Eylül 2012'den önce, bilgisayarla görü araştırmacılarının çoğu kenarları ve şekilleri tespit etmek için el yapımı algoritmalara (SIFT ve HOG gibi) güveniyor ve derin sinir ağlarını çıkmaz bir teori olarak görüyordu.

• Eğitim Süresi: Özel CUDA optimizasyonuyla bile AlexNet'in 1,2 milyon yüksek çözünürlüklü görüntü üzerinde eğitilmesi 5 ila 6 gün sürdü. CUDA olmadan aynı deney CPU'larda aylar sürerdi.

• Sektör Değişimi: AlexNet, ImageNet'te tüm geleneksel yöntemleri ezici bir farkla geçince, tüm yapay zeka araştırma topluluğu elle tasarlanmış özellikleri neredeyse bir gecede terk etti. Araştırmacılar NVIDIA GPU'ları satın almak için akın etti ve bu, NVIDIA'yı yapay zekaya yönelmeye ve iki yıl sonra cuDNN'i yayınlamaya itti.