Nvidia A100 : Ampère et l'entraînement à grande échelle

Le 14 mai 2020, Jensen Huang sort de sa cuisine légendaire une carte noire et lève un sourcil complice. Cette carte, c'est la Nvidia A100, premier GPU de datacenter Nvidia gravé en 7 nm (AMD avait revendiqué le tout premier GPU de datacenter 7 nm du marché dès 2018 avec les Radeon Instinct MI50/MI60) et pièce maîtresse de l'architecture Ampère. En quelques chiffres — 54 milliards de transistors, 312 TFLOPS en FP16, jusqu'à 80 Go de mémoire HBM2 — elle allait devenir le moteur silencieux de la décennie qui s'ouvre : celle de l'entraînement à grande échelle. Récit d'un accélérateur qui a redéfini ce que « grand » veut dire.

Pour comprendre la A100, il faut d'abord comprendre ce qu'elle a changé. Avant elle, entraîner un modèle à plusieurs dizaines de milliards de paramètres relevait de l'effort de recherche, mobilisant des mois de calcul sur des clusters hétérogènes. Avec elle, et avec les infrastructures qu'elle a permises — DGX A100, SuperPOD, instances cloud dédiées — entraîner un GPT à 175 milliards de paramètres est devenu une opération planifiable, reproductible, et même louable à l'heure. Ce qui était exceptionnel est devenu industriel.

Une genèse nommée Ampère

L'architecture Ampère est officialisée lors de la keynote GTC 2020, présentée en différé depuis la cuisine de Jensen Huang. Elle succède à la fois à Volta (2017, V100) et à Turing (2018, RTX 20). Pour le monde du datacenter, Volta restait la référence depuis trois ans, une éternité dans ce secteur. La pression montait : les modèles de langage passaient le milliard de paramètres, les recommandations consommaient des petaoctets, la simulation scientifique demandait toujours plus de précision.

La puce qui porte l'A100 s'appelle GA100. C'est le plus grand die 7 nm jamais produit par Nvidia à cette date, et l'un des plus complexes jamais fabriqués par TSMC. Pour saisir l'effort industriel sous-jacent, il suffit de comparer : le GV100 de Volta intégrait 21,1 milliards de transistors sur 815 mm² en 12 nm ; le GA100 passe à 54,2 milliards de transistors sur 826 mm² en 7 nm, selon les analyses de Tom's Hardware et la fiche technique officielle. Soit un bond de densité qui n'a rien d'anecdotique : c'est ce qui permet d'ajouter des unités de calcul supplémentaires sans exploser la consommation électrique.

Précision utile : tous ces transistors ne sont pas activés sur la A100 commerciale. Par choix de rendement de production et d'enveloppe thermique, Nvidia désactive une partie des SM (Streaming Multiprocessors). La puce physique en compte 128, mais la A100 exposée au marché en utilise 108. C'est une pratique courante dans l'industrie des semi-conducteurs : elle permet d'augmenter le rendement par tranche et de réserver des bincs supérieurs pour des variantes futures. Conséquence heureuse, elle garantit aussi une marge thermique confortable pour un usage 24/7 en datacenter.

Du silicium à la puce : anatomie du GA100

Le GA100 est organisé autour de 8 GPC (Graphics Processing Clusters), chacun abritant des TPC (Texture Processing Clusters), eux-mêmes composés de SM. Avec 108 SM actifs, la A100 dispose de 6 912 cœurs CUDA et de 432 Tensor Cores de troisième génération. C'est cette dernière ressource qui transforme une puce graphique en accélérateur d'IA : les Tensor Cores sont dédiés aux multiplications de matrices, opération dominante dans l'entraînement et l'inférence des réseaux de neurones.

Une hiérarchie de calcul pensée pour le parallélisme

Chaque SM d'Ampère embarque quatre unités de traitement séparées (sub-core), chacune pouvant orchestrer ses propres warps — ces groupes de 32 threads qui constituent l'unité d'exécution de base du modèle CUDA. La fréquence d'horloge tourne autour de 1,41 GHz en boost. La combinaison « fréquence × cœurs × unités spécialisées » donne les chiffres bruts que tout le monde cite : 19,5 TFLOPS en FP64, 156 TFLOPS en TF32, 312 TFLOPS en FP16, 624 TOPS en INT8.

Ces chiffres ne sont pas des vœux pieux. Ils sont extraits de la fiche technique officielle Nvidia et repris par les analyses de ServeTheHome, TechPowerUp et le white paper Ampère. Ils décrivent une réalité matérielle : la A100 est, au moment de son lancement, l'accélérateur IA le plus puissant disponible commercialement, et elle le reste largement pendant plus de deux ans.

La A100 ne doit pas être lue comme une itération de plus : elle introduit un nouveau format de calcul (TF32), un nouveau modèle de partitionnement (MIG), une nouvelle approche de l'optimisation des poids (structured sparsity). Trois innovations distinctes dans une seule puce.

Le L2, ce grand égaliseur

Un élément souvent sous-estimé : le cache L2. La A100 embarque 40 Mo de cache L2 partagé, contre 6 Mo sur V100. Cette augmentation est cruciale pour les charges modernes : les modèles de langage manipulent des tenseurs qui dépassent rarement la L1, mais tiennent de plus en plus souvent dans la L2. Quand une donnée reste dans le cache, on évite un aller-retour en HBM qui coûte des centaines de cycles. Sur des boucles d'entraînement qui se répètent des millions de fois, ce gain se traduit en heures, voire en jours, économisés.

TF32 : la trouvaille qui a changé l'entraînement

La principale innovation logicielle-matérielle de la A100 porte un nom qui ressemble à un sous-produit : TF32, pour Tensor Float 32. Sur le papier, ce n'est rien de spectaculaire — un format de 19 bits (8 bits d'exposant comme le FP32, 10 bits de mantisse comme le FP16, 1 bit de signe). Mais dans la pratique, c'est une petite révolution.

Pourquoi ? Parce que l'entraînement des réseaux de neurones profonds tolère très bien une précision réduite sur la mantisse, mais refuse les compromis sur la plage dynamique. Or le FP16, avec son exposant de 5 bits, sature et perd des gradients dans les zones extrêmes. Le FP32 est parfait mais lent. Le TF32 offre exactement le compromis utile : plage dynamique du FP32, mantisse condensée du FP16. Et surtout — c'est là que la magie opère — il s'utilise sans modification du code. Les frameworks comme PyTorch et TensorFlow basculent automatiquement en TF32 dès qu'une A100 est détectée, sans qu'il faille réécrire une seule ligne.

Résultat : un gain immédiat de l'ordre de 4× sur les multiplications de matrices denses en FP32, sans perte de qualité d'entraînement documentée sur les modèles testés. C'est ce que Nvidia a démontré dès le lancement, et ce que les benchmarks indépendants de Lambda Labs ont confirmé : la A100 offre, selon les modèles, un facteur 1,95 à 2,5 sur l'entraînement en langage par rapport à V100, avec une partie significative du gain attribuable au TF32.

Une grammaire de précisions

La A100 gère nativement une large palette de formats, chacun optimisé pour un usage précis. Pour s'y retrouver, voici la cartographie officielle :

Format	Bits	Puissance (A100 80 Go)	Usage type
FP64	64	9,7 TFLOPS	Calcul scientifique, simulation HPC
FP64 Tensor Core	64	19,5 TFLOPS	HPC mixte double précision
TF32 Tensor Core	19	156 TFLOPS (312 avec sparsity)	Entraînement deep learning par défaut
BF16 Tensor Core	16	312 TFLOPS (624 avec sparsity)	Entraînement des LLM, stable sur les gradients
FP16 Tensor Core	16	312 TFLOPS (624 avec sparsity)	Entraînement et inférence mixte
INT8 Tensor Core	8	624 TOPS (1 248 avec sparsity)	Inférence quantifiée
INT4	4	1 248 TOPS (2 496 avec sparsity)	Inférence très quantifiée (recommandation)

Cette diversité n'est pas un caprice marketing. Elle reflète une réalité technique : un même GPU doit servir, dans la même journée, à entraîner un réseau de neurones en précision mixte, à faire tourner une simulation moléculaire en FP64, et à inférer un moteur de recommandation en INT8. Chaque format correspond à un optimum qualité/performance, et la A100 permet de basculer de l'un à l'autre sans redémarrer la machine.

HBM2 : 40, puis 80 Go à 2 To/s

Sur la mémoire, l'histoire de la A100 se joue en deux temps. Au lancement, en mai 2020, elle propose 40 Go de HBM2 avec une bande passante de 1,55 To/s. Six mois plus tard, en novembre 2020, Nvidia annonce la variante 80 Go en HBM2e, à 2,039 To/s. Cette dernière devient rapidement le standard de fait pour les grands modèles, au point que « A100 » dans la bouche d'un ingénieur ML sous-entendra presque toujours la version 80 Go à partir de 2022.

L'augmentation de capacité n'est pas un confort : c'est une condition d'existence pour certaines charges. Un modèle de langage type GPT-3 175B occupe, en précision FP16, environ 350 Go de mémoire vive juste pour ses poids. Tenir l'ensemble sur un seul GPU est impossible — il faut donc répartir le modèle sur plusieurs cartes, et chaque carte doit être la plus vaste possible pour minimiser le nombre d'opérations de communication inter-GPU. C'est précisément là que les 80 Go font la différence : ils réduisent le nombre de cartes nécessaires, donc le coût total, donc le temps de mise en production.

La bande passante joue un rôle symétrique pour la vitesse. En entraînement, on passe une fraction non négligeable du temps à charger les poids depuis la HBM vers les unités de calcul. Plus la bande passante est large, moins ces transferts pèsent. Les 2 To/s de la A100 80 Go représentent le record mondial pour une mémoire commerciale au moment de sa sortie, et ils contribuent directement aux performances mesurées sur les benchmarks de deep learning à grande échelle.

Un autre bénéfice, moins visible, mérite d'être mentionné : l'efficacité d'utilisation de la DRAM. D'après la documentation technique Nvidia, l'architecture HBM2e de la A100 80 Go permet de porter le taux d'utilisation de la mémoire dynamique jusqu'à 95 %, contre 80 à 85 % sur les générations précédentes. Concrètement, cela signifie qu'une part plus importante des 80 Go est réellement disponible pour les données utiles, et qu'une part moindre est consommée par les métadonnées et les structures internes. Sur des charges saturant la mémoire, ce gain marginal se traduit par une capacité effective supérieure à ce que les chiffres bruts annoncent.

Sur les charges d'analytique volumineuses (GPU-BDB, dérivé de TPCx-BB), la A100 80 Go affiche un gain jusqu'à 2× par rapport à la version 40 Go (et jusqu'à 8× par rapport à un V100 32 Go), selon la fiche technique officielle Nvidia — un écart qui ne vient pas de la puissance de calcul, mais de la capacité à tenir de larges jeux de données en mémoire.

NVLink 3.0 et NVSwitch 2.0 : le tout-à-tout

Une A100 seule est une brique. Pour entraîner de grands modèles, il en faut plusieurs, et elles doivent se parler vite. C'est le rôle de NVLink, l'interconnexion propriétaire de Nvidia, qui en est à sa troisième génération sur Ampère. Elle offre 600 Go/s de bande passante bidirectionnelle par GPU, soit le double de la génération précédente (300 Go/s sur V100).

Mais NVLink seul ne suffit pas : il relie des paires. Pour connecter 8 GPU en topologie « tout-à-tout » — c'est-à-dire où n'importe quel GPU peut parler à n'importe quel autre à vitesse maximale — il faut un composant dédié, le NVSwitch. La deuxième génération, présente sur la DGX A100, organise ces 8 GPU en un réseau interne où chaque paire bénéficie de la pleine bande passante. Au-delà de 8 GPU, on entre dans le territoire des clusters, où NVSwitch est étendu en arborescence pour relier plusieurs châssis.

Pourquoi cette obsession de la communication

La raison est arithmétique. Entraîner un modèle distribué sur plusieurs GPU suppose, à chaque étape (ou toutes les quelques étapes), synchroniser les gradients entre cartes. Si cette synchronisation est lente, les GPU attendent, et l'efficacité du parallélisme s'effondre. Sur un V100 interconnecté à 300 Go/s, on observe qu'au-delà de 16-32 GPU, le coût de communication commence à dépasser le coût de calcul pur. Sur A100 à 600 Go/s, ce seuil est repoussé significativement plus loin, ce qui rend crédible l'idée d'entraîner sur des centaines, voire des milliers de GPU sans dégradation majeure.

C'est exactement la promesse concrète des 600 Go/s : non pas faire fonctionner un modèle plus rapidement, mais rendre possible un entraînement distribué à grande échelle avec une efficacité de scaling acceptable. Sans cette interconnexion, ni GPT-3 ni Megatron ni les infrastructures qui ont suivi n'auraient existé sous leur forme actuelle.

Structured sparsity : 2× de performance, sans perte de qualité

Moins célèbre que le TF32 mais tout aussi ingénieuse, la fine-grained structured sparsity est l'autre trouvaille d'Ampère. Le principe part d'une observation empirique : dans de nombreux réseaux de neurones entraînés, une part significative des poids sont proches de zéro et contribuent peu au résultat. Si l'on pouvait ignorer ces poids pendant le calcul, on doublerait presque le débit.

Le problème classique de la « sparsity » non structurée, c'est qu'elle est imprévisible : les zéros sont éparpillés au hasard, ce qui casse la régularité d'accès mémoire que les unités vectorielles adorent. La solution d'Ampère tient en une contrainte simple : pour chaque bloc de 4 poids consécutifs, exactement 2 doivent être non nuls. C'est ce qu'on appelle le pattern 2:4. Avec cette règle, le matériel sait à l'avance où sont les poids utiles, peut compresser les accès mémoire et exploiter pleinement les Tensor Cores.

Concrètement, la procédure d'entraînement se déroule en deux phases. On entraîne d'abord le réseau normalement. Puis on applique un algorithme de « pruning » qui supprime, pour chaque groupe de 4 poids, les 2 plus petits en magnitude, et on affine le réseau par fine-tuning pour compenser. Les expériences rapportées par Nvidia sur BERT, ResNet-50 et plusieurs autres architectures montrent une perte de qualité négligeable (typiquement inférieure au bruit de mesure), pour un gain de 2× sur les multiplications de matrices denses en inférence.

• BERT-Large : baisse de précision quasi nulle sur SQuAD (delta de F1 minime), pour un gain d'inférence qui reste, selon les benchmarks indépendants, plutôt de l'ordre de 1,4× à 1,85× que d'un doublement net.
• ResNet-50 : perte de qualité inférieure à 0,1 point de top-1 accuracy sur ImageNet.
• Modèles de recommandation (DLRM) : équilibre parfait entre compression des poids et qualité du ranking.

La sparsity n'est pas activée par défaut — il faut l'opt-in via TensorRT ou les bibliothèques cuSPARSELt. Mais pour quiconque cherche à extraire le maximum d'une A100 en production, c'est un levier majeur, particulièrement adapté aux charges d'inférence à fort volume.

Multi-Instance GPU : une seule puce, sept locataires

Avant Ampère, partager un GPU entre plusieurs utilisateurs était un casse-tête. On utilisait la virtualisation logicielle (MPS, time-slicing), qui souffrait de deux maux : mauvaise isolation (un job mal élevé pouvait saturer la mémoire des autres) et performances imprévisibles (les jobs se volaient mutuellement des cycles).

La A100 résout ce problème à la racine avec le Multi-Instance GPU (MIG). Le principe : partitionner matériellement le GPU en instances isolées, chacune avec sa propre slice de SM, sa propre slice de mémoire HBM et son propre contrôleur mémoire. Une A100 80 Go peut être découpée en jusqu'à 7 instances, chacune se comportant pour l'OS comme un GPU indépendant.

Les bénéfices sont triples :

• Isolation matérielle : un crash dans une instance n'affecte pas les autres. Un job peut saturer sa partition sans ralentir ses voisins.
• Prévisibilité : chaque instance dispose d'une bande passante mémoire garantie, ce qui rend les performances reproductibles.
• Coût d'opportunité : sur des charges d'inférence légères, on peut multiplier par 7 le nombre de modèles servis par carte, là où un V100 n'en servait qu'un seul.

Le MIG est particulièrement adapté aux contextes multi-équipes (un centre de calcul académique), multi-clients (un fournisseur d'inférence IA) ou multi-usage (un datacenter qui héberge simultanément entraînement et inférence). C'est l'innovation la moins visible de la A100, mais probablement celle qui a le plus changé l'économie opérationnelle du GPU pour les opérateurs.

Le MIG a transformé la politique d'allocation des GPU dans les centres de calcul. Là où l'on rationnait un V100 par utilisateur, on peut désormais servir sept travailleurs concurrents sur une seule A100, avec une qualité de service comparable à sept GPU dédiés.

DGX A100 : le système qui a industrialisé l'IA

La A100 ne se vend pas seulement comme une carte, elle s'incarne dans un système complet : la DGX A100. Ce serveur 6U embarque 8 GPU A100, deux processeurs AMD EPYC 7742 (64 cœurs chacun), 1 To de RAM DDR4, 15 To de NVMe et neuf cartes réseau Mellanox ConnectX-6 à 200 Gb/s (huit ports simples dédiés au clustering InfiniBand, plus un port double pour le stockage et l'administration). L'ensemble est conçu pour être, selon la formulation officielle de Nvidia, « le système universel pour l'infrastructure IA ».

Ce qui distingue la DGX A100 d'un serveur générique, c'est la qualité de son intégration. Les 8 GPU sont connectés via NVSwitch 2.0 en topologie tout-à-tout. La pile logicielle (cuDNN, NCCL, TensorRT, Magnum IO) est préinstallée et certifiée. Le système est livré avec une couche d'orchestration (DGX OS, basée sur Ubuntu) qui gère nativement le MIG, la télémétrie et la planification. Pour un data scientist, la DGX A100 est à un cluster sur étagères ce que le Mac est à un PC assemblé : un peu plus cher, mais tout fonctionne ensemble.

Du système au SuperPOD

Une DGX A100, c'est un nœud. Pour les grands entraînements, il en faut beaucoup. Nvidia formalise alors le concept de SuperPOD : une architecture de référence pour relier de nombreuses DGX A100 via un réseau InfiniBand HDR à 200 Gb/s, géré par des commutateurs Mellanox et orchestré en topologie fat-tree. Le SuperPOD de référence comporte 140 DGX A100, soit 1 120 GPU A100, et délivre de l'ordre de 700 PFLOPS en FP16.

L'histoire la plus marquante de cette architecture s'appelle Selene. Il s'agit du supercalculateur interne de Nvidia, déployé en 2020. Selene est, à sa mise en service, le 7e supercalculateur mondial au classement TOP500, et le plus efficace énergétiquement de sa catégorie au Green500. Il est composé de 280 DGX A100, totalisant 2 240 GPU A100. La particularité de Selene : il a été assemblé en trois semaines, ce qui démontre la modularité du concept SuperPOD. Quand une DGX tombe en panne, on la sort, on en remet une autre, le cluster continue.

C'est sur Selene, et sur des SuperPOD équivalents chez les clients, qu'ont été réalisés les entraînements de référence qui ont marqué la période 2020-2022 : BERT-Large en moins d'une heure, GPT-3 175B en quelques semaines, Megatron-LM à l'échelle du trillion de paramètres. La A100 n'est pas qu'une puce : c'est une plateforme.

Entraîner 1 000 milliards de paramètres

Le papier publié par Nvidia Research en 2021, « Efficient Large-Scale Language Model Training on GPU Clusters », est probablement le document qui illustre le mieux ce que la A100 a rendu possible. Son ambition : entraîner un modèle de langage à 1 000 milliards (1 trillion) de paramètres, en utilisant la bibliothèque Megatron-LM couplée au runtime distributé PyTorch.

Les chiffres sont vertigineux. Pour entraîner un tel modèle, l'équipe mobilise 3 072 GPU A100 40 Go répartis sur 384 DGX A100. L'architecture logicielle combine trois types de parallélisme : data parallel (chaque GPU traite un lot différent), tensor parallel (les matrices sont découpées et réparties entre GPU), pipeline parallel (les couches successives du réseau sont réparties sur différents groupes de GPU). Cette combinaison est ce qui permet de faire tenir un modèle dépassant largement la mémoire d'un seul GPU.

Le résultat mesuré : un débit soutenu de 502 PFLOPS agrégés, soit 52 % du pic théorique. Ce chiffre, en apparence modeste (on aurait pu espérer 80 %), est en réalité une performance d'ingénierie remarquable : maintenir la moitié du débit théorique sur des milliers de GPU pendant des jours, en gérant communications, pannes et hétérogénéité, n'a rien d'évident. À titre de comparaison, sur V100, des travaux antérieurs plafonnaient autour de 15-20 % d'efficacité à l'échelle de quelques centaines de GPU.

Trois enseignements ressortent de ce travail :

• Le parallélisme 3D est devenu la norme : on ne peut plus entraîner de grands modèles sans combiner data, tensor et pipeline parallel. C'est devenu un savoir-faire d'ingénieur, pas une option.
• La communication est le nouveau goulot : au-delà de quelques centaines de GPU, la majeure partie de l'optimisation consiste à minimiser les synchronisations et à chevaucher calcul et communication.
• La A100 a été pensée pour ça : ses 600 Go/s de NVLink, ses 200 Gb/s d'InfiniBand et son TF32 rendent crédible un scaling quasi-linéaire jusqu'à 3 000+ GPU, ce qui était impensable sur la génération précédente.

La pile logicielle : CUDA 11, cuDNN, NGC

Une puce sans logiciel est un presse-papier coûteux. Nvidia le sait depuis la première génération CUDA en 2007, et l'arrivée de la A100 s'accompagne d'une mise à jour majeure de toute la pile : CUDA 11. Cette version introduit le support natif des nouveaux formats d'Ampère (TF32, BF16), des nouvelles instructions de Tensor Core, et surtout de la programmation asynchrone qui permet de chevaucher calcul et communication au niveau du thread.

Le composant le plus stratégique pour l'entraînement distribué s'appelle NCCL (NVIDIA Collective Communications Library). C'est lui qui orchestre les all-reduce, all-gather et broadcast entre GPU via NVLink et InfiniBand. Sans NCCL optimisé pour NVLink 3.0, les 600 Go/s théoriques resteraient largement sous-exploités. Les versions successives de NCCL ont progressivement ajouté le support de topologies complexes (NVSwitch, ring, tree), la compression des gradients, et le recouvrement computation-communication. Ces optimisations invisibles sont l'une des raisons pour lesquelles la même A100 a pu gagner jusqu'à 2,5× de performance entre MLPerf v1.0 et v2.1 sans aucun changement matériel.

NGC : un catalogue prêt à l'emploi

Côté frameworks, Nvidia maintient le hub NGC (NVIDIA GPU Cloud), un registre de conteneurs Docker pré-optimisés pour les GPU. On y trouve PyTorch, TensorFlow, JAX, Megatron-LM, DeepSpeed, Nemo, RAPIDS — tous compilés avec les versions optimisées de cuDNN, NCCL et TensorRT. Pour un data scientist, l'intérêt est immédiat : au lieu d'installer et de régler manuellement des dizaines de bibliothèques, on tire un conteneur NGC et l'on dispose d'une stack cohérente et certifiée pour le GPU cible.

Cette politique d'intégration verticale — du silicium jusqu'au conteneur d'application — est l'atout le plus durable de la plateforme. Un concurrent peut sortir une puce plus rapide sur un benchmark isolé ; reproduire l'écosystème complet prend des années. C'est aussi, en creux, la source du verrouillage évoqué plus haut : la qualité de la pile Nvidia rend toute alternative structurellement plus coûteuse à déployer, même quand elle existe.

Bibliothèques spécialisées

Au-delà des frameworks génériques, Nvidia a développé une série de bibliothèques ciblées :

• cuDNN : primitives de deep learning (convolutions, pooling, normalisation) optimisées au cycle près pour Ampère.
• cuBLAS : algèbre linéaire dense, qui sert de fondation à pratiquement tous les calculs de réseaux de neurones.
• cuSPARSELt : algèbre linéaire creuse, qui exploite le pattern 2:4 de la structured sparsity.
• TensorRT : moteur d'inférence haute performance, qui compile un modèle entraîné en un plan d'exécution optimisé pour le GPU cible (noyaux fusionnés, quantification INT8/FP16, sélection automatique des algorithmes).
• Triton Inference Server : serveur d'inférence multi-modèle, multi-framework, qui orchestre le déploiement en production avec gestion du MIG et du multi-tenant.

Ces briques ne sont pas optionnelles : elles sont ce qui distingue un GPU que l'on sait utiliser d'un GPU sur lequel on sait faire tourner du code. La A100 doit une part significative de son adoption massive à la maturité de cette pile, autant qu'à ses caractéristiques matérielles.

A100 dans le cloud public : AWS, Azure, Google

Tout le monde n'a pas les moyens d'acheter une DGX, ni l'envie de gérer un cluster InfiniBand. La A100 s'est donc démocratisée via les trois grands clouds publics, chacun avec ses variantes. Voici la cartographie telle qu'elle se présente à la mi-2023.

Provider	Instance phare	Configuration	Prix public indicatif (2023, à la demande, US)
AWS	p4d.24xlarge	8 × A100 40 Go, 96 vCPU, 1 152 Go RAM	~32,77 $/heure
AWS	p4de.24xlarge	8 × A100 80 Go, 96 vCPU, 1 152 Go RAM	~40,97 $/heure
Google Cloud	a2-ultragpu-8g	8 × A100 80 Go, 96 vCPU, 1 360 Go RAM	~40,22 $/heure
Microsoft Azure	NDm A100 v4	8 × A100 80 Go, 96 vCPU, 1 900 Go RAM	~32,77 $/heure (estimation)

Ces chiffres, à manipuler avec prudence (les prix varient selon la zone, le commit, le Reserved Capacity), illustrent néanmoins une réalité : louer huit A100 80 Go coûte de l'ordre de 35 à 40 dollars de l'heure. C'est cher au sens absolu, mais infiniment moins que d'acheter et d'amortir un serveur DGX complet. Pour un chercheur qui veut entraîner un modèle pendant deux semaines, la facture reste soutenable ; pour une startup qui protègera ses coûts par un usage intermittent, c'est même devenu raisonnable.

Microsoft Azure s'est distingué en déployant massivement la série NDm A100 v4 (variante 80 Go), annoncée en disponibilité générale en décembre 2021 — la première vague, la série ND A100 v4 en 40 Go, avait atteint la disponibilité générale dès juin 2021. AWS propose les A100 depuis fin 2020 via p4d, complétée par p4de (variante 80 Go) en 2022. Google Cloud propose la série A2 depuis 2020, déclinée en plusieurs tailles (de 1 à 8 GPU), avec une variante « ultragpu » qui correspond aux A100 80 Go. Les trois fournisseurs ont un positionnement comparable, avec des nuances de réseau, de stockage attaché et de tarification au commit.

MLPerf : la A100 comme étalon

Le benchmark MLPerf, géré par l'organisme MLCommons, est devenu la référence pour comparer les systèmes d'entraînement IA. Il évalue le temps nécessaire pour entraîner plusieurs modèles types (BERT, ResNet-50, Mask R-CNN, DLRM, etc.) jusqu'à un seuil de qualité défini. La A100 y a établi une série de records marquants.

Dès la ronde MLPerf Training v0.7 de juillet 2020, la A100 prend la première place (performance par accélérateur) sur les huit benchmarks soumis, devant les TPU v3 de Google, qui dominaient de leur côté six des huit benchmarks à l'échelle du système (le TPU v4 n'existera que l'année suivante). Le communiqué de MLCommons, repris par SyncedReview, souligne la régularité des performances de la plateforme Nvidia. Sur BERT en particulier, un cluster de 2 048 A100 (un SuperPOD étendu) entraîne le modèle en moins d'une minute, un record à l'époque.

Plus révélateur encore : entre MLPerf v1.0 (juin 2021) et MLPerf v2.1 (novembre 2022), la A100 progresse jusqu'à 2,5× sur certains benchmarks, sans aucun changement matériel. Toute la progression vient des optimisations logicielles : cuDNN, NCCL, TensorRT, Triton. Ce point est crucial pour comprendre l'écosystème : un GPU n'est pas seulement une puce, c'est une puce + une pile logicielle qui mature avec le temps. La longévité de la A100 tient autant à son silicium qu'à l'investissement continu de Nvidia dans ses bibliothèques.

Ce que la A100 ne résout pas

Une présentation honnête de la A100 suppose d'identifier aussi ses limites. Ce sont elles, d'ailleurs, qui justifient l'arrivée de l'architecture Hopper — la H100, annoncée en 2022 et livrée à grande échelle en 2023 — qui vient compléter la plateforme Ampère sur plusieurs de ces axes.

La mémoire reste un plafond

80 Go, c'est beaucoup, mais c'est peu comparé à ce que demandent les plus grands modèles. Un GPT-3 175B en BF16 consomme ~350 Go de poids, et ce chiffre explose pour les modèles à 500 milliards et au-delà. La solution — répartir le modèle sur plusieurs GPU — fonctionne, mais elle transfère le problème vers la communication réseau. Chaque GPU supplémentaire implique des synchronisations, des allers-retours InfiniBand, et donc une perte d'efficacité. Les architectures qui ont suivi ont partiellement répondu à ce plafond, mais il reste l'un des axes majeurs d'innovation en cours.

L'efficacité énergétique reste modeste

Une A100 SXM consomme jusqu'à 400 W. Une DGX A100, équipée de 8 GPU, atteint jusqu'à 6,5 kW à pleine charge (puissance maximale annoncée par Nvidia). Un SuperPOD de 140 nœuds — soit 1 120 GPU — représente plusieurs mégawatts. Ces chiffres ne sont pas anodins : ils conditionnent le coût d'exploitation, le dimensionnement des datacenters, et bien sûr l'empreinte carbone. L'industrie travaille activement à améliorer l'efficacité énergétique — tant sur le silicium (gravures plus fines, alimentations à plus haut voltage) que sur le refroidissement (liquide direct-to-chip) — et des pistes concrètes émergent pour concilier intensité de calcul et sobriété. Sur le plan opérationnel, les outils comme le MIG, qui permet de partager un GPU entre plusieurs charges légères, contribuent déjà à mieux amortir chaque watt dépensé.

L'écosystème logiciel reste verrouillé

Troisièmement, et c'est sans doute le point le plus débattu : la performance maximale de la A100 ne s'obtient qu'avec la pile propriétaire Nvidia (CUDA, cuDNN, NCCL). Les alternatives ouvertes — ROCm d'AMD, oneAPI d'Intel, SYCL — progressent, mais peinent à atteindre la même maturité sur les grands modèles. Cette dépendance, acceptée par la majorité des praticiens, est régulièrement pointée du doigt par les régulateurs et les défenseurs de la concurrence. Elle fait partie du débat plus large sur la souveraineté du calcul IA, et plusieurs acteurs (chercheurs, clouds alternatifs, institutions publiques) investissent dans des voies multiples pour rééquilibrer l'écosystème — avec des résultats encourageants côté open source.

Conclusion : un tournant silencieux

En trois ans d'existence commerciale, la Nvidia A100 a redéfini plusieurs ordres de grandeur simultanément : puissance brute, capacité mémoire, qualité d'interconnexion, flexibilité d'usage. Elle n'a pas fait ça seule — la génération Ampère s'appuie sur une décennie d'investissements en logiciel, en réseau et en systèmes — mais elle a été le dénominateur matériel commun de tout ce qui a suivi dans le champ des grands modèles.

Sans A100, pas de GPT-3 à l'échelle industrielle. Pas de Megatron à un trillion de paramètres. Pas de MLPerf records qui servent de référence à toute l'industrie. Pas non plus de cloud IA à 8 GPU que n'importe quelle startup peut louer à l'heure. La A100 a rendu possible l'industrialisation de l'entraînement à grande échelle, exactement comme l'annonçait son slogan officiel : « the universal system for AI infrastructure ».

Surtout, la A100 a préparé le terrain pour la suite. Quand la H100 arrive en 2022, avec son FP8 et sa mémoire HBM3, elle s'inscrit dans la continuité d'une plateforme dont les briques — DGX, SuperPOD, NVSwitch, CUDA — étaient déjà en place. Le saut de puce est réel, mais il n'aurait pas été possible sans le socle Ampère. C'est cette qualité de socle, plus que les chiffres bruts, qui fait de la A100 un cas d'école d'ingénierie système réussie.

Pour les équipes qui cherchent aujourd'hui à comprendre comment l'IA a atteint sa capacité d'entraînement actuelle, la A100 reste la porte d'entrée obligée. Étudier son architecture, c'est étudier la matrice technologique qui a rendu possibles les grands modèles modernes. C'est aussi comprendre que la performance d'un accélérateur ne se mesure pas seulement en TFLOPS : elle se mesure à la qualité des abstractions logicielles, à la robustesse de l'interconnexion, à la justesse des compromis de précision, et à la capacité à servir des charges très diverses sur une même plateforme.

Sources

• NVIDIA A100 Tensor Core GPU — page produit officielle (nvidia.com)
• NVIDIA A100 — Fiche technique officielle (PDF) (nvidia.com)
• NVIDIA A100 Tensor Core GPU Architecture — White paper Ampère (PDF) (nvidia.com)
• Ampere (microarchitecture) — article de référence (Wikipedia)
• Nvidia Unveils Its Next-Generation 7nm Ampere A100 GPU for Data Centers (Tom's Hardware)
• NVIDIA A100 Ampere Resets the Entire AI Industry (ServeTheHome)
• NVIDIA Ampere Architecture In-Depth (NVIDIA Developer Blog)
• Structured Sparsity in the NVIDIA Ampere Architecture (NVIDIA Developer Blog)
• Scaling Language Model Training to a Trillion Parameters Using Megatron (NVIDIA Developer Blog)
• Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM (arXiv:2104.04473) (arXiv)
• Selene — NVIDIA DGX A100 Supercomputer (Top500) (top500.org)
• NVIDIA DGX SuperPOD — AI Infrastructure for Enterprise (nvidia.com)
• NVIDIA Multi-Instance GPU (MIG) (nvidia.com)
• Amazon EC2 P4d Instances — AWS (aws.amazon.com)
• NDm A100 v4 series — Azure Virtual Machines (Microsoft Learn)
• MLPerf Training v0.7 Results Released: Google & NVIDIA Lead the Race (SyncedReview)
• NVIDIA Clocks World's Fastest BERT Training Time (NVIDIA Developer Blog)