Yapay Zeka ve Teknoloji
Donanımınız için yapay zeka optimizasyon stratejileri seçimi
Doğru optimizasyon stratejisini seçmek, donanım mimarinizi temel performans darboğazınızla eşleştirmekle başlar. Her platform hesaplama iş hacmi, bellek bant genişliği ve kapasite üzerinde katı fiziksel sınırlar getirir.
1. Hedef Donanım Mimarisindeki Ödünleşimler
Farklı donanım platformları, tensörlerin taşınmasını ve çarpılmasını temelden farklı yollarla çözer.
| Donanım Sınıfı | Bellek Mimarisi | Hesaplama Birimleri | Yazılım & Çekirdek Ekosistemi | Temel Güçlü Yönler & Kesin Sınırlar |
|---|---|---|---|---|
| Veri Merkezi NVIDIA GPU'ları (H100, B200, R100) | Ayrık HBM3e / HBM4 (80 GB–288 GB, 3.35–19.2 TB/s) + yonga üzerinde hızlı SRAM. | Tensor Core birimleri (FP16, BF16, FP8, NVFP4) + TMA asenkron kopyalama birimleri. | CUDA, cuDNN, Triton, TensorRT-LLM, vLLM, NCCL. | En yüksek ham FLOPS ve çoklu GPU ölçeklemesi; pahalıdır ve PCIe/NVLink sınırlarıyla kısıtlıdır. |
| Tüketici Tipi NVIDIA GPU'ları (RTX 4090 / 5090) | Ayrık GDDR6X / GDDR7 (24 GB–32 GB, ~1.0–1.8 TB/s). | Daha düşük FP64/NVLink yeteneklerine sahip Tensor Core birimleri (FP16, FP8, FP4). | CUDA, PyTorch, Triton, llama.cpp, ExLlamaV2. | Yerel kullanımda benzersiz fiyat/performans; 24–32 GB VRAM tavanı ve NVLink eksikliği ciddi darboğaz oluşturur. |
| Apple Silicon (M3/M4 Max & Ultra) | CPU/GPU/NPU arasında paylaşılan Birleşik Bellek (LPDDR5) (192–512 GB'a kadar, ~400–800 GB/s). | GPU çekirdekleri + Simdgroup Matrix birimleri + Apple Neural Engine (ANE). | Metal (MSL), MLX, PyTorch MPS, llama.cpp. | Devasa modelleri yerel olarak yüklemek için çok büyük RAM kapasitesi; orta düzey bellek bant genişliği istem ön doldurma hızını sınırlar. |
| Mobil SoC'ler (Snapdragon 8 Elite, Apple A18/A19) | Düşük güçlü LPDDR5X paylaşılan RAM (8 GB–16 GB, ~50–85 GB/s). | Mobil GPU (Adreno/Apple) + özel INT4/INT8 NPU (Hexagon/ANE). | Vulkan, Metal, ExecuTorch, LiteRT, MLC-LLM. | Çok düşük güç (3–8 W); katı ısıl kısıtlama ve işletim sisteminin uygulamalar için getirdiği dar 3–6 GB bellek sınırları. |
2. Belirli Darboğazları Çözme & Mühendislik Hedefleri
Hedef donanımınızı belirledikten sonra her performans darboğazı, her biri ayrı bir teknik yaklaşım gerektiren üç mühendislik kategorisinden birine girer.
Hedef A: Eğitim Hızını En Üst Düzeye Çıkarma (İş Hacmi & Ölçekleme)
Eğitimde aktivasyonları/gradyanları saklamak ve birden fazla adım boyunca Tensor Core birimlerini beslemek baskın rol oynar.
- Python & Bellek Ek Yükünü Ortadan Kaldırın: Aktivasyon belleğini yarıya indirirken Tensor Core birimlerinin tam hızda çalışması için torch.compile(mode="max-autotune") ve BF16/FP8 karma hassasiyetini etkinleştirin.
- İletişimi Hesaplamayla Örtüştürün: Birden fazla GPU'da, All-Gather ve Reduce-Scatter aktarımlarının matris çarpımları sürerken arka planda asenkron gerçekleşmesi için gradyan biriktirmeyle birlikte PyTorch FSDP2 veya ZeRO-3 kullanın.
- Aktivasyon Kontrol Noktaları: Büyük toplu iş boyutları Out-Of-Memory (OOM) hatalarına yol açarsa, ileri geçişte ara katman aktivasyonlarını atın ve geri yayılım sırasında yeniden hesaplayın; böylece ~%25 ek hesaplama karşılığında toplu iş boyutu için çok büyük bir artış payı elde edilir.
Hedef B: Çıkarım Gecikmesini En Aza İndirme (TTFT & Token/Sn)
Çıkarım, Prefill (hesaplamayla sınırlı istem alımı) ve Decode (bellek bant genişliğiyle sınırlı token üretimi) olarak ikiye ayrılır.
- İlk Token Süresini (TTFT) Kısaltın: Uzun istemlerin gereksiz hesaplama olmadan Tensor Core birimlerini doyurması için FlashAttention-2/3 ve Önek Önbellekleme (ortak sistem istemleri için KV önbellek bloklarını yeniden kullanma) kullanın.
- Token Üretimini (TPOT) Hızlandırın: HBM okumalarını 2×–4× azaltmak için ağırlıkları FP8 veya INT4 (AWQ/Marlin) olarak nicemleyin, CPU çekirdek başlatma boşluklarını ortadan kaldırmak için CUDA Graphs etkinleştirin ve her ileri geçişte 3–5 token doğrulamak için Spekülatif Kod Çözme (EAGLE/Medusa) ekleyin.
- Toplu İşlerin Birbirini Etkilemesini Önleyin: Çok kullanıcılı üretim ortamlarında, ağır istemlerin etkin token akışlarını asla duraklatmaması için sürekli toplu işleme ile PagedAttention kullanın ya da Prefill ve Decode işlemlerini ayrı GPU havuzlarına ayırın.
Hedef C: Bellek Ayak İzini Küçültme (Modelleri Kısıtlı Cihazlara Sığdırma)
Bir model kullanılabilir VRAM'i veya mobil RAM'i aştığında, yoğun sıkıştırma ve sıfır kopyalı yürütme zorunlu hale gelir.
- Bayt Altı Ağırlık Sıkıştırma: 70 milyar parametreli bir modeli 140 GB'tan ~40 GB'a veya 8 milyar parametreli bir modeli 16 GB'tan ~4.9 GB'a küçültmek için 4 bit nicemleme (Q4_K_M veya AWQ) kullanın.
- KV Önbelleğini Sıkıştırın: Uzun konuşmalar çoğu zaman model ağırlıklarının kendisinden daha fazla RAM tüketir. Bağlam belleğini %50–%90 azaltmak için FP8/INT4 KV Önbellek nicemlemesi, Kayan Pencere Dikkati veya Multi-Head Latent Attention (MLA) içeren mimariler uygulayın.
- Sıfır Kopyalı Akış (mmap): Birleşik Bellek kullanan dizüstü bilgisayar ve telefonlarda, nicemlenmiş model dosyalarını doğrudan NVMe/UFS depolamadan belleğe eşleyin; böylece işletim sistemi, başlatma sırasında RAM kullanımını ikiye katlamadan ağırlıkları gerektiğinde sayfalar halinde getirir.