PagedAttention, décodage spéculatif, MoE et Blackwell

Le déploiement moderne de l'IA s'appuie sur des moteurs de service à mémoire virtualisée, le routage parcimonieux vers des experts et une précision matérielle inférieure à l'octet pour servir des modèles massifs à grande vitesse et à faible coût. Ces trois technologies sont à la pointe de l'infrastructure LLM en production.

1. Optimisations du service d'inférence LLM : PagedAttention & décodage spéculatif

Pendant la génération de texte, un LLM met en cache dans la VRAM les tenseurs Key (K) et Value (V) de tous les tokens précédents afin de ne pas avoir à les recalculer à chaque étape. Gérer ce cache KV et surmonter le goulet d'étranglement séquentiel de la génération token par token sont les deux plus grands défis du service d'inférence.

• PagedAttention (vLLM) - mémoire virtuelle pour le cache KV.

• Le problème de fragmentation. Historiquement, les moteurs d'inférence préallouaient une zone contiguë de VRAM pour chaque requête selon la longueur de séquence maximale possible du modèle (par exemple, 32 768 tokens). Si un utilisateur ne générait que 200 tokens, plus de 99 % de cette VRAM réservée restait vide, gaspillant 60 % à 80 % de la mémoire GPU par fragmentation interne et externe.
• Pagination de type système d'exploitation. Inspiré par la mémoire virtuelle des systèmes d'exploitation, PagedAttention divise le cache KV de chaque séquence en petits blocs de taille fixe (par exemple, 16 tokens par bloc) qui peuvent être placés de façon non contiguë n'importe où dans la VRAM physique. Une table de blocs légère associe les blocs de tokens logiques aux adresses mémoire physiques du GPU à la volée dans le noyau d'attention.
• Partage de mémoire (copie sur écriture). Les blocs étant découplés, plusieurs requêtes partageant le même prompt système ou générant des complétions parallèles (comme la recherche en faisceau) pointent vers exactement les mêmes blocs KV physiques en VRAM, réduisant fortement l'utilisation mémoire et permettant des lots bien plus grands.

• Décodage spéculatif - éliminer le goulet d'étranglement séquentiel.

• Pourquoi la génération autorégressive est lente. Générer 100 tokens nécessite 100 passes avant séquentielles. Chaque passe ne traitant qu'un nouveau token, le GPU passe l'essentiel de son temps à lire les poids du modèle en VRAM, tandis que ses Tensor Cores restent presque inactifs.
• Pipeline de proposition et vérification. Le décodage spéculatif associe le modèle cible massif (par exemple, 70 milliards de paramètres) à un minuscule modèle de proposition ultrarapide (par exemple, 1 à 3 milliards de paramètres, ou des têtes de prédiction légères comme Medusa / EAGLE).
• Vérification parallèle. Le petit modèle de proposition devine rapidement les K tokens suivants (par exemple, 5 tokens) de façon séquentielle. Le modèle cible massif traite ensuite les 5 tokens proposés simultanément dans une seule passe avant parallèle, en vérifiant leurs probabilités. Comme vérifier 5 tokens en parallèle prend presque exactement le même temps que générer 1 token, le système accepte tous les tokens correspondants d'un coup, produisant une génération 2× à 3× plus rapide avec une qualité de sortie mathématiquement identique.

2. Mixture-of-Experts (MoE) & parallélisme d'experts

Les modèles denses activent 100 % de leurs paramètres pour chaque token, ce qui rend l'exécution des modèles massifs prohibitive. Les architectures Mixture-of-Experts (MoE) dissocient les connaissances totales du modèle du coût de calcul par token.

• Fonctionnement des couches MoE (Mixtral & DeepSeek).

• Dans un bloc Transformer MoE, le réseau à propagation avant dense unique (FFN) est remplacé par un ensemble de FFN indépendants plus petits appelés experts (par exemple, 8 experts dans Mixtral 8x7B, ou 256 experts à granularité fine dans DeepSeek-V3).
• Un routeur appris léger (réseau de sélection) examine chaque token entrant et ne le dirige que vers les top-K experts les plus pertinents (généralement 2 à 8 experts). Un modèle peut contenir plus de 600 milliards de paramètres au total en mémoire, tout en n'activant que 37 milliards de paramètres par token, atteignant l'intelligence d'un modèle massif pour une fraction du coût de calcul.
• Experts partagés & équilibrage sans perte auxiliaire. Les conceptions MoE modernes comme DeepSeek consacrent quelques experts partagés au traitement de chaque token pour capter les connaissances fondamentales communes, tandis que les experts routés se spécialisent dans des domaines particuliers. Des ajustements dynamiques des biais empêchent l'« effondrement du routage » (où le routeur surcharge quelques experts populaires et ignore les autres).

• Parallélisme d'experts (EP) entre GPU.

• Comme un modèle MoE possède des centaines d'experts, ils ne peuvent pas tenir sur un seul GPU. Le parallélisme d'experts répartit différents experts sur différents GPU (par exemple, experts 1–4 sur le GPU 0, experts 5–8 sur le GPU 1).
• Communication All-to-All. Lorsque le GPU 0 traite un lot de tokens, son routeur peut affecter certains tokens à des experts situés sur le GPU 3. Chaque couche MoE effectue donc une distribution All-to-All, envoyant les états cachés des tokens via des interconnexions NVLink/InfiniBand à haut débit vers le GPU qui héberge l'expert affecté, calculant le FFN de cet expert et réalisant une seconde étape All-to-All de combinaison pour renvoyer les résultats.

3. NVIDIA Blackwell (B200) & Transformer Engine de deuxième génération (FP4)

Introduite pour faire évoluer les modèles de raisonnement et MoE à mille milliards de paramètres, l'architecture NVIDIA Blackwell (B200) a repensé à la fois le boîtier multipuce et la précision numérique inférieure à l'octet.

• Architecture unifiée à deux puces.

• Un seul GPU B200 regroupe 208 milliards de transistors sur deux puces limitées par la taille du réticule, réunies par une interface NV-HBI (High-Bandwidth Interface) de 10 TB/s. Pour les noyaux CUDA et les frameworks logiciels, les deux puces fonctionnent comme un seul GPU unifié, sans pénalité de cohérence de cache.
• Bande passante mémoire HBM3e. Avec 192 GB de VRAM HBM3e offrant 8 TB/s de bande passante mémoire (plus du double des 3,35 TB/s du H100), Blackwell cible directement les goulets d'étranglement de bande passante mémoire des caches KV et du chargement des poids MoE.

• Transformer Engine de deuxième génération & NVFP4.

• Alors que Hopper a introduit les nombres flottants sur 8 bits (FP8), le Transformer Engine de deuxième génération de Blackwell abaisse le calcul des Tensor Cores aux nombres flottants sur 4 bits (FP4), doublant à nouveau le débit de calcul brut (jusqu'à 20 pétaFLOPS de calcul FP4 dense par GPU) et divisant par deux l'empreinte mémoire par rapport à FP8.
• Résoudre la plage dynamique FP4 avec la mise à l'échelle micro-tenseur (NVFP4). Les nombres standard de 4 bits n'ont que 16 valeurs possibles, ce qui détruit normalement la précision lorsque des valeurs aberrantes extrêmes apparaissent dans les activations neuronales. Blackwell résout ce problème matériellement avec une micro-mise à l'échelle à deux niveaux : au lieu d'appliquer un facteur d'échelle à une grande matrice, Blackwell regroupe poids et activations en minuscules blocs de 16 éléments, attribuant à chacun son propre facteur d'échelle FP8 de haute précision en plus d'une échelle globale de tenseur FP32.
• Quantification accélérée matériellement. Le Transformer Engine examine dynamiquement les plages des tenseurs couche par couche et convertit les valeurs entre FP16/BF16, FP8 et NVFP4 directement dans le pipeline des Tensor Cores, sans allers-retours mémoire supplémentaires.