CUDA'nın benimsenmesi: ilk GPU deneylerinden AlexNet atılımına

Yapay zeka araştırmacıları, 2006 ile 2009 arasında CUDA'nın sinir ağları için sağladığı devasa performans avantajını fark etmeye başladı; kesin ana akım atılım ise 2012'de gerçekleşti. Bu değişimden önce sinir ağları, pratik olamayacak kadar yavaş ve hesaplama açısından pahalı olarak görülüyordu.

CUDA'nın Benimsenmesindeki Önemli Dönüm Noktaları

• 2006 (CUDA'nın Yayınlanması): NVIDIA, araştırmacıların karmaşık grafik shader'ları (OpenGL gibi) yerine standart C/C++ kullanarak GPU'ları programlamasına olanak tanıyan CUDA'yı piyasaya sürdü.

• 2007–2008 (İlk Sinir Ağı Deneyleri): Erken benimseyenler, sinir ağı algoritmalarını CUDA'ya taşımaya başladı. 2008'de araştırmacı Rajat Raina ve Stanford'daki Andrew Ng'nin ekibi, CUDA çalıştıran GPU'ların derin inanç ağlarını çok çekirdekli CPU'lardan 70 kata kadar daha hızlı eğitebildiğini gösterdi.

• 2009–2010 (Rekor Kıran Kıyaslamalar): Jürgen Schmidhuber'in laboratuvarı (Dan Cireșan dahil), el yazısı tanıma (MNIST) rekorlarını kıran derin sinir ağlarını eğitmek için CUDA hızlandırmalı GPU'lar kullandı ve daha derin ağların özel süper bilgisayarlar olmadan eğitilebileceğini kanıtladı.

• 2012 (AlexNet Dönüm Noktası): Belirleyici an ImageNet yarışmasında yaşandı. Alex Krizhevsky, Ilya Sutskever ve Geoffrey Hinton, AlexNet'i eğitmek için iki NVIDIA GTX 580 GPU üzerinde özel CUDA kernel'leri kullandı ve görüntü sınıflandırma hata oranlarını geleneksel yöntemlere kıyasla neredeyse yarıya indirdi. Bu zafer, modern derin öğrenme devrimini tetikledi.

• 2014 (cuDNN Yayınlanıyor): AlexNet patlamasının ardından NVIDIA, Caffe, Theano, TensorFlow ve PyTorch gibi çerçeveler için her yapay zeka araştırmacısına optimize edilmiş, tak-çalıştır GPU yapı taşları sunan cuDNN'i (CUDA Deep Neural Network kütüphanesi) yayınladı.

Neden Her Şeyi Değiştirdi

CUDA'dan önce, orta büyüklükte bir sinir ağını CPU'larda eğitmek haftalar veya aylar sürüyordu; bu da deneme-yanılma araştırmalarını neredeyse imkansız kılıyordu. CUDA bu eğitim sürelerini günlere veya saatlere indirerek araştırmacıların veri kümelerini büyütmesine, daha fazla katman eklemesine ve Transformer'lar ile büyük dil modelleri gibi modern mimariler icat etmesine olanak tanıdı.