PagedAttention, spekülatif kod çözme, MoE ve Blackwell

Modern yapay zeka dağıtımı, devasa modelleri yüksek hızda ve düşük maliyetle sunmak için bellek-sanallaştırmalı sunum motorlarına, seyrek uzman yönlendirmesine ve bayt-altı donanım hassasiyetine dayanır. Bu üç teknoloji, üretim LLM altyapısının ön saflarını temsil eder.

1. LLM Çıkarım Sunumu Optimizasyonları: PagedAttention & Spekülatif Kod Çözme

Metin üretimi sırasında, bir LLM her adımda yeniden hesaplamak zorunda kalmamak için önceki her token'ın Key (K) ve Value (V) tensörlerini VRAM'de önbelleğe alır. Bu KV Önbelleğini yönetmek ve token-token üretimin ardışık darboğazını aşmak, çıkarım sunumundaki en büyük iki zorluktur.

• PagedAttention (vLLM) – KV Önbelleği için Sanal Bellek.

• Parçalanma Sorunu. Tarihsel olarak, çıkarım motorları her istek için modelin maksimum olası dizi uzunluğuna (ör. 32.768 token) göre bitişik bir VRAM parçasını önceden ayırıyordu. Bir kullanıcı yalnızca 200 token ürettiyse, ayrılan VRAM'in %99'undan fazlası boşta kalıyor, dahili ve harici parçalanma yoluyla GPU belleğinin %60 ile %80'ini israf ediyordu.
• İşletim Sistemi Tarzı Sayfalama. İşletim sistemi sanal belleğinden ilham alan PagedAttention, her dizinin KV önbelleğini fiziksel VRAM'de herhangi bir yerde bitişik olmadan durabilen küçük, sabit boyutlu bloklara (ör. blok başına 16 token) böler. Hafif bir blok tablosu, attention çekirdeği içinde mantıksal token bloklarını anlık olarak fiziksel GPU bellek adreslerine eşler.
• Bellek Paylaşımı (Copy-on-Write). Bloklar ayrıştırılmış olduğundan, aynı sistem istemini paylaşan veya paralel tamamlamalar üreten (beam search gibi) birden fazla istek, VRAM'de tam olarak aynı fiziksel KV bloklarına işaret eder; bu da bellek kullanımını büyük ölçüde azaltır ve çok daha büyük batch boyutlarına olanak tanır.

• Spekülatif Kod Çözme – Ardışık Darboğazı Kırmak.

• Otoregresif Üretim Neden Yavaştır. 100 token üretmek 100 ardışık ileri geçiş gerektirir. Her geçiş yalnızca bir yeni token işlediğinden, GPU zamanının çoğunu model ağırlıklarını VRAM'den okuyarak geçirirken Tensor Core'ları neredeyse boşta kalır.
• Taslak ve Doğrula Hattı. Spekülatif kod çözme, devasa Hedef Modeli (ör. 70B parametre) küçük, ultra hızlı bir Taslak Modelle (ör. 1B–3B parametre veya Medusa / EAGLE gibi hafif tahmin başlıkları) eşleştirir.
• Paralel Doğrulama. Küçük taslak model, sonraki K token'ı (ör. 5 token) hızla ardışık olarak tahmin eder. Devasa hedef model, tahmin edilen 5 token'ın tümünü tek bir paralel ileri geçişte eşzamanlı olarak işler ve olasılıklarını kontrol eder. 5 token'ı paralel doğrulamak, 1 token üretmekle neredeyse aynı süreyi aldığından, sistem eşleşen tüm token'ları aynı anda kabul eder — matematiksel olarak özdeş çıktı kalitesiyle 2× ile 3× daha hızlı üretim sağlar.

2. Mixture-of-Experts (MoE) & Uzman Paralelliği

Yoğun modeller her token için parametrelerinin %100'ünü aktive ederek devasa modelleri çalıştırılamayacak kadar pahalı hale getirir. Mixture-of-Experts (MoE) mimarileri, toplam model bilgisini token başına hesaplama maliyetinden ayırır.

• MoE Katmanları Nasıl Çalışır (Mixtral & DeepSeek).

• Bir MoE Transformer bloğunda, tek yoğun İleri Beslemeli Ağ (FFN), Uzmanlar olarak adlandırılan daha küçük bağımsız FFN havuzuyla değiştirilir (ör. Mixtral 8x7B'de 8 uzman veya DeepSeek-V3'te 256 ince taneli uzman).
• Hafif, öğrenilmiş bir Router (Gating Network) gelen her token'ı inceler ve yalnızca en ilgili top-K uzmana yönlendirir (tipik olarak 2 ila 8 uzman). Bir model bellekte 600B+ toplam parametre tutabilir, ancak token başına yalnızca 37B parametre aktive ederek devasa model zekasını hesaplama maliyetinin çok küçük bir kısmıyla elde eder.
• Paylaşılan Uzmanlar & Yardımcı-Kayıpsız Dengeleme. DeepSeek gibi modern MoE tasarımları, ortak temel bilgiyi yakalamak için her token'ı işleyen birkaç Paylaşılan Uzman ayırırken, yönlendirilen uzmanlar niş alanlarda uzmanlaşır. Dinamik bias ayarlamaları, "yönlendirme çöküşünü" (router'ın birkaç popüler uzmanı aşırı yükleyip geri kalanını görmezden gelmesi) önler.

• GPU'lar Arasında Uzman Paralelliği (EP).

• Bir MoE modelinin yüzlerce uzmanı olduğundan, tek bir GPU'ya sığamazlar. Uzman Paralelliği, farklı uzmanları farklı GPU'lara dağıtır (ör. 1–4. Uzmanlar GPU 0'da, 5–8. Uzmanlar GPU 1'de).
• All-to-All İletişim. GPU 0 bir token batch'i işlediğinde, router'ı bazı token'ları GPU 3'te bulunan Uzmanlara atayabilir. Bu nedenle her MoE katmanı bir All-to-All dağıtımı yürütür: token gizli durumlarını yüksek hızlı NVLink/InfiniBand bağlantıları üzerinden atanan uzmanı tutan GPU'ya gönderir, uzman FFN'yi hesaplar ve sonuçları döndürmek için ikinci bir All-to-All birleştirme adımı gerçekleştirir.

3. NVIDIA Blackwell (B200) & İkinci Nesil Transformer Engine (FP4)

Trilyon parametreli akıl yürütme ve MoE modellerini ölçeklendirmek için tanıtılan NVIDIA Blackwell (B200) mimarisi, hem çoklu-die paketlemeyi hem de bayt-altı sayısal hassasiyeti yeniden tasarladı.

• Çift-Die Birleşik Mimari.

• Tek bir B200 GPU, 10 TB/s NV-HBI (High-Bandwidth Interface) ile birbirine kaynaşmış iki retikül sınırlı die üzerinde 208 milyar transistör barındırır. CUDA çekirdekleri ve yazılım çerçeveleri için, her iki die sıfır önbellek tutarlılığı cezasıyla tek bir birleşik GPU olarak çalışır.
• HBM3e Bellek Bant Genişliği. 8 TB/s bellek bant genişliği sunan 192 GB HBM3e VRAM ile donatılan Blackwell (H100'ün 3,35 TB/s'sinin iki katından fazla), doğrudan KV önbelleklerinin ve MoE ağırlık yüklemesinin bellek bant genişliği darboğazlarını hedefler.

• İkinci Nesil Transformer Engine & NVFP4.

• Hopper 8-bit kayan noktayı (FP8) tanıtırken, Blackwell'in ikinci nesil Transformer Engine'i Tensor Core hesaplamasını 4-bit kayan noktaya (FP4) indirerek ham hesaplama verimliliğini yeniden ikiye katlar (GPU başına 20 petaFLOPS'a kadar yoğun FP4 hesaplama) ve bellek ayak izini FP8'e kıyasla yarıya indirir.
• Mikro-Tensör Ölçeklendirme (NVFP4) ile FP4 Dinamik Aralığını Çözme. Standart 4-bit sayıların yalnızca 16 olası değeri vardır; bu da nöral aktivasyonlarda aşırı aykırı değerler görüldüğünde normalde doğruluğu yok eder. Blackwell bunu donanımda iki düzeyli mikro ölçeklendirmeyle çözer: büyük bir matrise tek bir ölçeklendirme faktörü uygulamak yerine, Blackwell ağırlıkları ve aktivasyonları 16 elemanlık küçük bloklara gruplandırır ve her küçük bloğa global bir FP32 tensör ölçeğinin yanı sıra kendi yüksek hassasiyetli FP8 ölçeklendirme faktörünü atar.
• Donanım Hızlandırmalı Kuantizasyon. Transformer Engine, tensör aralıklarını katman katman dinamik olarak inceler ve değerleri ekstra bellek gidiş-dönüşleri olmadan doğrudan Tensor Core hattı içinde FP16/BF16, FP8 ve NVFP4 arasında dönüştürür.