Pourquoi la mémoire et le packaging sont devenus les vrais goulets de l'IA

On raconte souvent l'histoire de l'intelligence artificielle moderne comme une course au calcul brut. Plus de processeurs graphiques, plus d'opérations par seconde, plus de puissance : voilà, dit-on, le nerf de la guerre. Cette lecture n'est pas fausse, mais elle est incomplète, et elle laisse dans l'ombre deux acteurs discrets qui décident aujourd'hui, plus que le calcul lui-même, du rythme réel des progrès. Le premier s'appelle la mémoire à haute bande passante. Le second, le packaging avancé — l'art d'assembler plusieurs puces dans un même boîtier. Ce sont eux, désormais, qui forment les vrais points de passage étroits de la filière. Et la bonne nouvelle, c'est que l'industrie a parfaitement identifié ces goulets et déploie une énergie considérable pour les élargir.

Cet article propose une exploration accessible mais rigoureuse de ce déplacement du centre de gravité. Nous allons voir pourquoi un processeur graphique surpuissant peut passer une grande partie de son temps à ne rien faire, faute d'être nourri assez vite ; comment la mémoire HBM est devenue le composant le plus recherché de toute la chaîne ; pourquoi la technique d'assemblage baptisée CoWoS conditionne le nombre de puces d'IA qui sortent réellement des usines ; et par quels leviers concrets ce double point de passage est en train d'être desserré. Au terme de cette lecture, vous ne regarderez plus une carte accélératrice comme un simple bloc de calcul, mais comme un système d'alimentation où chaque octet compte.

Le mythe du calcul roi

Commençons par une image simple. Imaginez un chef cuisinier hors pair, capable de préparer un plat en quelques secondes. Sa vitesse d'exécution est prodigieuse. Mais si les ingrédients lui parviennent au compte-gouttes, à travers un couloir étroit qui relie la cuisine au garde-manger, son talent ne sert plus à grand-chose : il passe l'essentiel de son temps à attendre les produits. Le facteur limitant n'est plus sa dextérité, mais le débit du couloir. Un accélérateur d'IA vit exactement cette situation. Ses unités de calcul, notamment les cœurs spécialisés dans les multiplications de matrices, terminent leurs opérations en quelques cycles d'horloge. Pour les maintenir occupées, il faut leur apporter en permanence de grandes quantités de données. Le débit d'alimentation en données — ce que les ingénieurs appellent la bande passante mémoire — devient alors le vrai facteur limitant.

Ce constat n'est pas une intuition vague, il repose sur des mesures. Une étude de référence sur ce sujet, intitulée « AI and Memory Wall » et publiée sur le serveur de prépublications arXiv par Amir Gholami et ses coauteurs, chiffre précisément le phénomène. Sur les vingt dernières années, la puissance de calcul de pointe des serveurs a progressé d'un facteur d'environ trois tous les deux ans. Dans le même temps, la bande passante de la mémoire dynamique n'a été multipliée que par 1,6 environ, et celle des interconnexions par 1,4. Autrement dit, la capacité à calculer a crû nettement plus vite que la capacité à transporter les données vers les unités de calcul. L'écart s'est creusé année après année, jusqu'à faire de la mémoire, et non du calcul, la contrainte structurante de bien des charges d'IA.

La puissance de calcul de pointe a doublé plus de trois fois plus vite que la bande passante mémoire sur deux décennies. C'est cet écart cumulé, et non un manque de calcul, qui définit le mur de la mémoire.

Les spécialistes ont donné un nom à cette barrière : le « mur de la mémoire ». L'expression décrit la situation où un système ne peut plus progresser en ajoutant simplement du calcul, parce que ce calcul reste affamé de données. On peut empiler les unités arithmétiques : si elles ne sont pas alimentées assez vite, elles restent inactives. Comprendre ce mur, c'est comprendre pourquoi la conversation de l'industrie s'est déplacée, ces dernières années, du calcul pur vers la question de l'alimentation en données.

Intensité arithmétique : la clé de lecture

Pour raisonner proprement, les ingénieurs utilisent une notion élégante : l'intensité arithmétique. Elle mesure le nombre d'opérations de calcul réalisées pour chaque octet lu depuis la mémoire. Une charge à forte intensité arithmétique effectue beaucoup de calculs sur peu de données : elle est bien adaptée aux processeurs modernes, car elle exploite pleinement leur puissance de calcul. Une charge à faible intensité, au contraire, lit beaucoup de données pour effectuer relativement peu de calculs : elle passe son temps à attendre la mémoire, et la puissance de calcul disponible reste largement inutilisée.

Cette grille de lecture se visualise par ce qu'on appelle le « toit de performance » — le roofline en anglais. On y trace deux plafonds : celui imposé par la puissance de calcul et celui imposé par la bande passante. Le point où ces deux plafonds se croisent marque la frontière. En dessous, la charge est limitée par la mémoire ; au-dessus, elle est limitée par le calcul. Une grande partie des usages actuels de l'IA, on va le voir, se situe précisément dans la zone limitée par la mémoire. C'est ce qui explique que la bande passante soit devenue une devise aussi précieuse que la puissance brute.

Là où le mur se dresse vraiment : la génération de texte

Le cas d'usage qui illustre le mieux ce basculement est aussi le plus répandu aujourd'hui : la génération de texte par un grand modèle de langage. Quand vous posez une question à un assistant conversationnel, le système travaille en deux phases très différentes, et cette différence est au cœur de notre sujet.

La première phase est celle du traitement de votre requête initiale, souvent appelée prefill. Le modèle lit d'un coup l'ensemble de votre texte et peut paralléliser massivement les calculs. Cette phase est généralement limitée par le calcul : elle exploite bien la puissance disponible. La seconde phase est celle de la génération proprement dite, mot après mot, ou plutôt jeton après jeton. Et là, tout change. Pour produire chaque nouveau jeton, le système doit relire l'intégralité des paramètres du modèle et consulter une structure appelée le cache clé-valeur, qui mémorise le contexte déjà généré. Or il n'effectue qu'assez peu de calcul par jeton. L'intensité arithmétique s'effondre : la génération devient massivement limitée par la mémoire.

Écrire un texte jeton par jeton oblige la machine à relire à chaque pas tous les paramètres du modèle. Ce n'est pas la puissance de calcul qui fixe la cadence, mais la vitesse à laquelle la mémoire délivre ces paramètres.

La conséquence est frappante et parfois contre-intuitive : lors de la génération, un accélérateur onéreux peut afficher un taux d'utilisation de sa puissance de calcul étonnamment bas. Des mesures publiées par des laboratoires spécialisés relèvent des taux d'utilisation du calcul autour de 20 à 25 % sur certains noyaux d'inférence, précisément parce que le débit mémoire, lui, est saturé bien avant. Les unités de calcul patientent ; ce sont les octets qui manquent. On tient là une démonstration limpide de la primauté de la bande passante dans l'usage le plus courant de l'IA générative.

Le cache clé-valeur, un appétit de mémoire qui grandit

Un mot sur ce fameux cache clé-valeur, car il ajoute une dimension au problème. Sa taille croît linéairement avec la longueur de la conversation et avec le nombre de requêtes traitées simultanément. Plus le contexte est long — pensez à ces modèles capables de digérer des documents entiers — plus le cache gonfle, et plus il faut de mémoire rapide pour le stocker et le relire. Les systèmes d'inférence regroupent volontiers de nombreuses requêtes dans un même lot pour mieux occuper le processeur graphique, mais ce regroupement augmente d'autant la taille du cache à maintenir. On voit se dessiner un cercle où la capacité et la bande passante de la mémoire deviennent le facteur qui plafonne le débit global. Voilà pourquoi les fabricants ne cherchent pas seulement une mémoire plus rapide, mais aussi plus vaste et plus efficace.

La mémoire HBM, star discrète de l'IA

Entre en scène la réponse technologique à ce défi : la mémoire à haute bande passante, connue sous l'acronyme anglais HBM pour High Bandwidth Memory. Son principe rompt avec la mémoire classique des ordinateurs. Au lieu d'aligner les puces mémoire à plat sur une carte, à distance du processeur, la HBM empile verticalement plusieurs couches de puces mémoire, reliées entre elles par des milliers de connexions traversantes minuscules. Cette pile est placée juste à côté de la puce de calcul, sur un support commun. Le résultat : un chemin de données court, très large, capable de transporter des volumes considérables à chaque instant.

Les chiffres donnent la mesure du progrès. Un accélérateur de génération précédente utilisait 80 gigaoctets de mémoire HBM3 offrant environ 3,35 téraoctets par seconde de bande passante. La génération suivante, bâtie sur de la mémoire HBM3E, a pratiquement doublé ce débit, jusqu'à environ 8 téraoctets par seconde au total. Chaque saut de génération vise le même objectif : rapprocher le débit d'alimentation de l'appétit des unités de calcul, pour réduire le temps où celles-ci patientent.

Génération	Interface	Bande passante (ordre de grandeur)	Jalon
HBM3	1024 bits	~3,35 To/s par accélérateur (config. 80 Go)	Génération précédente
HBM3E	1024 bits	jusqu'à ~8 To/s au total sur l'accélérateur	Génération de transition
HBM4	2048 bits	> 2 To/s par pile, jusqu'à ~3,3 To/s en config. avancée	Standard JEDEC publié en avril 2025

Ce qui fait de la HBM un point de passage aussi sensible, c'est la conjonction de deux faits. D'une part, elle est difficile à fabriquer : empiler des puces mémoire avec des milliers de connexions traversantes, tester l'ensemble, garantir le rendement, tout cela relève d'un savoir-faire pointu que peu d'acteurs maîtrisent. D'autre part, la demande a explosé avec l'essor de l'IA. Le marché s'est structuré autour de trois grands fournisseurs — SK Hynix, Micron et Samsung — dont les feuilles de route sont désormais scrutées comme des indicateurs de la santé de toute la filière.

Un marché concentré et très demandé

Les positions de marché parlent d'elles-mêmes. Au deuxième trimestre 2025, SK Hynix détenait, selon les estimations, environ 62 % du marché de la HBM en valeur, devant Micron autour de 21 % et Samsung autour de 17 %. Cette concentration n'a rien d'un hasard : elle reflète les années d'avance accumulées par certains acteurs sur une technologie exigeante. Elle explique aussi la tension sur les approvisionnements. Plusieurs fabricants ont indiqué que leur production de HBM pour l'année suivante était déjà entièrement réservée par leurs clients, parfois des années à l'avance. Les prix de la HBM ont d'ailleurs été revus à la hausse à plusieurs reprises : après une progression de l'ordre de 5 à 10 % anticipée pour 2025 selon TrendForce, une nouvelle hausse voisine de 20 % des prix contractuels de la HBM3E a été annoncée par Samsung et SK Hynix pour 2026 (chiffres à fin 2025, indicatifs et susceptibles d'évoluer) — signe d'une demande qui dépasse durablement l'offre disponible.

Il faut y voir moins une fragilité qu'un formidable moteur d'investissement. Une demande aussi soutenue, et aussi visible à long terme, offre aux fabricants une rare lisibilité. Elle justifie des investissements massifs dans de nouvelles capacités, des recherches accélérées sur les générations suivantes, et une concurrence vive qui tire l'ensemble de la filière vers le haut. Loin d'un blocage, c'est une dynamique de rattrapage : le maillon jugé le plus contraint est aussi celui qui reçoit le plus d'attention et de moyens.

HBM4 : le prochain palier

La preuve la plus tangible de cette dynamique porte un nom : HBM4. L'organisme de normalisation JEDEC a publié le standard correspondant, référencé JESD270-4, en avril 2025. Le changement le plus visible est le doublement de la largeur de l'interface, qui passe de 1024 à 2048 bits, avec 32 canaux indépendants. Concrètement, cela signifie un couloir de données deux fois plus large, capable de délivrer plus de 2 téraoctets par seconde par pile, et jusqu'à environ 3,3 téraoctets par seconde dans les configurations les plus avancées. Le standard prévoit aussi des tensions d'alimentation plus basses, gage d'une meilleure efficacité énergétique — un point capital quand on multiplie ces composants par dizaines de milliers dans un centre de données.

Les fabricants ont rapidement transformé l'essai. SK Hynix a annoncé dès mars 2025 l'échantillonnage d'une HBM4 empilée sur douze couches, avec une production de volume visée pour la seconde moitié de 2025 et un produit de 48 gigaoctets sur seize couches prévu ensuite. Samsung a pour sa part communiqué début 2026 sur le lancement de sa production de masse de HBM4, associant une puce logique gravée en 4 nanomètres à un empilement de douze couches, pour un débit annoncé autour de 3,3 téraoctets par seconde. Micron a confirmé son entrée en production de HBM4 également prévue à cet horizon. Trois acteurs, trois feuilles de route convergentes : le maillon jugé le plus tendu progresse à vive allure.

Un standard de mémoire publié en avril 2025, des échantillons puis une production de masse dès l'année suivante chez trois fabricants distincts : le rythme d'exécution montre une filière qui traite la mémoire comme sa priorité industrielle.

Le packaging avancé, l'assemblage qui change tout

Nous avons parlé de nourrir les unités de calcul et de la mémoire qui les nourrit. Reste une question décisive : comment réunir, dans un même boîtier et à très courte distance, une immense puce de calcul et plusieurs piles de mémoire HBM, en les reliant par des chemins de données ultra-larges ? C'est le rôle du packaging avancé — l'assemblage de plusieurs composants sur un support commun de très haute précision. Et c'est là que se cache le second point de passage étroit de toute la filière.

La technique dominante pour les accélérateurs d'IA porte le nom de CoWoS, pour Chip on Wafer on Substrate, développée par le fondeur TSMC et introduite dès 2012. Son principe relève de ce qu'on appelle l'intégration 2,5D. Plutôt que d'empiler les puces les unes sur les autres, on les pose côte à côte sur une fine plaque de silicium appelée interposeur. Cet interposeur joue le rôle d'une carte routière microscopique : il grave des milliers de pistes conductrices qui relient la puce de calcul aux piles de mémoire avec une densité impossible à atteindre sur un support classique. La puce de calcul et sa mémoire se retrouvent ainsi voisines immédiates, échangeant des données par un chemin extrêmement large et court.

La contrainte du réticule

Ce procédé se heurte toutefois à une limite physique fascinante : la taille du réticule. Lors de la fabrication d'une puce, les motifs sont projetés sur le silicium à travers un masque, et la surface maximale exposable en une fois — le champ du réticule — plafonne autour de 858 millimètres carrés chez TSMC. Or les accélérateurs d'IA les plus ambitieux, avec leur grande puce de calcul entourée de plusieurs piles HBM, dépassent largement cette surface. Les ingénieurs ont donc développé des techniques de « couture » de masques pour fabriquer des interposeurs plus grands, atteignant en pratique environ 2 700 millimètres carrés, soit un peu plus de trois fois la taille du réticule standard. Cette prouesse permet, par exemple, de relier deux grandes puces de calcul de la taille d'un réticule chacune, par une interconnexion de l'ordre de la dizaine de téraoctets par seconde — une performance hors de portée sans ce type d'assemblage.

On comprend dès lors pourquoi le packaging avancé est devenu un facteur limitant à part entière. Fabriquer la puce de calcul est une chose ; disposer de la capacité d'assemblage pour la marier à sa mémoire en est une autre. Pendant plusieurs années, c'est cette étape d'assemblage, et non la gravure des puces elles-mêmes, qui a déterminé le nombre d'accélérateurs réellement livrables. La capacité de packaging est devenue la contrainte qui commande le débit de sortie des usines.

Une capacité qui grimpe en flèche

Là encore, l'industrie a répondu par une montée en puissance spectaculaire. La capacité de packaging CoWoS de TSMC est passée d'environ 35 000 plaques par mois fin 2024 à un objectif de l'ordre de 130 000 plaques par mois visé pour fin 2026. C'est une multiplication par près de quatre en moins de deux ans. Le dirigeant du fondeur a lui-même reconnu que cette capacité restait très demandée et réservée sur plusieurs trimestres, tant l'appétit du marché dépasse l'offre. Mais la trajectoire est sans ambiguïté : l'investissement est massif, et le point de passage s'élargit à un rythme rarement observé dans l'histoire de la microélectronique.

Quadrupler une capacité de production industrielle en moins de deux ans est un effort considérable. Il traduit une conviction partagée par toute la filière : desserrer l'assemblage est la condition pour libérer le potentiel du calcul.

La feuille de route ne s'arrête pas là. TSMC prépare des interposeurs encore plus grands, susceptibles d'atteindre l'équivalent de neuf réticules et d'accueillir jusqu'à une douzaine de piles HBM4 par boîtier à l'horizon 2027. Chaque palier repousse la limite du nombre de puces mémoire que l'on peut coller au plus près du calcul — donc du débit d'alimentation total. Le message est clair : le packaging n'est pas un frein subi, c'est un chantier d'innovation en soi, tiré par la même logique que la mémoire.

Entraînement et inférence : deux profils, un même enjeu

On associe volontiers le mur de la mémoire à la seule inférence, cette phase où le modèle répond aux utilisateurs. Le tableau serait pourtant incomplet sans évoquer l'entraînement, cette étape amont où le modèle apprend à partir de vastes ensembles de données. Les deux régimes n'ont pas le même profil, mais ils convergent vers la même exigence de mémoire abondante et rapide. L'entraînement de très grands modèles réclame de conserver en mémoire, simultanément, les paramètres du modèle, leurs gradients et les états intermédiaires de l'optimisation, sur des milliers d'accélérateurs travaillant de concert. La capacité mémoire de chaque puce détermine alors la taille des modèles qu'on peut entraîner sans fractionner à l'excès le travail, et la bande passante conditionne la vitesse à laquelle les données circulent entre les couches du réseau.

À cela s'ajoute la circulation des données entre accélérateurs. Entraîner un modèle sur des milliers de puces suppose de synchroniser en permanence leurs résultats intermédiaires, ce qui met à contribution les interconnexions à très haut débit. Or, on l'a vu, ces interconnexions ont progressé encore moins vite que la mémoire elle-même. La communication entre puces devient ainsi un troisième front, cousin des deux premiers : là encore, le débit d'échange de données pèse autant que la capacité de calcul de chaque puce prise isolément. Cette parenté renforce l'idée centrale de notre propos : la performance en IA se joue dans la circulation des données autant que dans leur traitement.

Qu'il s'agisse d'entraîner un modèle sur des milliers de puces ou de le faire répondre en temps réel, le facteur commun est le même : la vitesse à laquelle les données atteignent les unités de calcul.

L'efficacité énergétique, bénéfice caché de la mémoire proche

Un avantage souvent sous-estimé de la mémoire à haute bande passante mérite d'être souligné pour lui-même : son efficacité énergétique. Déplacer des données coûte de l'énergie, et ce coût croît avec la distance parcourue. Une mémoire classique, éloignée du processeur, impose de faire voyager les octets sur de longues pistes, avec des pertes importantes. La mémoire HBM, empilée juste à côté du calcul et reliée par un chemin court et large, réduit fortement cette distance — et donc l'énergie dépensée pour chaque octet transporté. C'est un point capital à l'échelle d'un centre de données, où l'électricité consommée pour déplacer les données représente une part loin d'être anecdotique de la facture globale.

Le nouveau standard HBM4 pousse cette logique plus loin en abaissant les tensions d'alimentation, ce qui améliore encore le rapport entre performance et énergie. Chaque génération de mémoire cherche ainsi à délivrer non seulement plus d'octets par seconde, mais aussi plus d'octets par joule. Cette double optimisation — plus de débit, moins d'énergie — illustre bien pourquoi la mémoire est traitée comme un chantier stratégique et non comme un simple accessoire du calcul. En rapprochant les données du calcul, le packaging avancé sert d'ailleurs la même cause : la proximité physique est bénéfique pour la vitesse comme pour la sobriété.

Penser en système, pas en composant

Ce que révèle ce déplacement du calcul vers la mémoire et le packaging, c'est une vérité plus profonde sur la nature de la performance en IA. Un accélérateur n'est pas une pièce isolée qu'on juge à sa seule puissance de calcul. C'est un système équilibré, où le calcul, la mémoire et l'assemblage doivent progresser de concert. Un maillon en avance sur les autres ne sert à rien : le débit global est fixé par le maillon le plus contraint. C'est la logique même de la chaîne, où le maillon le plus faible commande la solidité de l'ensemble.

Cette lecture systémique a plusieurs vertus. D'abord, elle réconcilie l'observateur avec la réalité industrielle : les progrès de l'IA ne dépendent pas d'un seul chiffre spectaculaire, mais de l'orchestration de plusieurs technologies. Ensuite, elle rend visibles des acteurs longtemps restés dans l'ombre — les fabricants de mémoire, les spécialistes du packaging — dont le rôle est en réalité déterminant. Enfin, elle dessine une feuille de route claire pour la suite : c'est en travaillant simultanément sur les trois fronts que la filière continuera d'avancer.

Les leviers logiciels comptent aussi

Il serait réducteur de croire que tout se joue dans le matériel. Une partie de la réponse au mur de la mémoire vient du logiciel, et c'est une bonne nouvelle, car ces gains-là sont souvent plus rapides à obtenir. Les chercheurs et ingénieurs multiplient les techniques pour tirer davantage de chaque octet transporté :

• La quantification : représenter les paramètres du modèle avec moins de bits réduit le volume de données à lire, et donc soulage directement la bande passante mémoire.
• La gestion fine du cache clé-valeur : en compressant, en réutilisant ou en hiérarchisant ce cache sur plusieurs niveaux de mémoire, on limite les relectures coûteuses.
• Le regroupement intelligent des requêtes : bien calibré, il améliore l'occupation des unités de calcul sans faire exploser la mémoire nécessaire.
• Les noyaux de calcul optimisés : réécrire les opérations pour maximiser l'intensité arithmétique déplace la charge vers la zone limitée par le calcul, où le matériel donne le meilleur de lui-même.

Ces leviers logiciels et les avancées matérielles se renforcent mutuellement. Chaque octet économisé par le logiciel prolonge la valeur de la bande passante disponible ; chaque téraoctet par seconde gagné par la mémoire ouvre de nouvelles marges au logiciel. C'est cette coévolution du matériel et du logiciel qui rend la trajectoire si robuste.

Comment lire l'actualité de l'IA avec ce prisme

Muni de cette grille, vous pouvez désormais décoder autrement les annonces qui rythment l'actualité du secteur. Quand un fabricant communique sur une nouvelle génération de mémoire plus rapide, il ne s'agit pas d'un détail technique périphérique : c'est une avancée sur l'un des deux points de passage les plus stratégiques. Quand un fondeur annonce l'extension de ses lignes d'assemblage, il agit directement sur le débit de sortie des accélérateurs. Et quand une entreprise sécurise des approvisionnements en mémoire ou en capacité de packaging des années à l'avance, elle ne fait pas un caprice logistique : elle verrouille l'accès à la ressource la plus contrainte de sa chaîne de valeur.

Cette lecture a aussi une portée pratique pour qui déploie des modèles. Choisir un accélérateur, dimensionner une infrastructure d'inférence, estimer un coût par requête : toutes ces décisions gagnent à être pensées en termes de bande passante et de capacité mémoire, autant que de puissance de calcul. Une charge de génération de texte, majoritairement limitée par la mémoire, tirera davantage profit d'une mémoire rapide et abondante que d'un surcroît de puissance de calcul qui resterait sous-employé. Raisonner en système, encore une fois, c'est éviter d'investir dans un maillon déjà surdimensionné au détriment de celui qui contraint réellement.

Une trajectoire foncièrement encourageante

Au terme de ce parcours, une conclusion s'impose, et elle est optimiste. Les deux points de passage que nous avons explorés — la mémoire à haute bande passante et le packaging avancé — sont parfaitement identifiés, mesurés, et attaqués de front par toute la filière. La mémoire progresse de génération en génération, avec un standard HBM4 déjà publié et trois fabricants qui exécutent leurs feuilles de route. Le packaging voit sa capacité multipliée en un temps record et ses limites physiques repoussées par des interposeurs toujours plus grands. Le logiciel, de son côté, apprend à tirer davantage de chaque octet. Ces trois dynamiques avancent ensemble, et c'est précisément leur convergence qui rend la trajectoire crédible.

Ce qui pouvait ressembler à un plafond se révèle, à l'examen, un chantier bien engagé. Les vrais points de passage de l'IA ne sont pas des impasses : ce sont les endroits où l'ingénierie concentre aujourd'hui son intelligence collective. Et l'histoire récente de la microélectronique montre que, lorsqu'un maillon devient critique et lisible, il attire les investissements et les talents qui finissent par l'élargir. La mémoire et le packaging ne sont pas les limites de l'IA : ils en sont, désormais, les principaux moteurs.

À retenir

• La puissance de calcul a progressé bien plus vite que la bande passante mémoire sur deux décennies (facteur ~3 tous les deux ans contre ~1,6), créant le « mur de la mémoire ».
• La génération de texte jeton par jeton est majoritairement limitée par la mémoire, pas par le calcul : d'où des taux d'utilisation du calcul parfois autour de 20 à 25 % sur certains noyaux d'inférence.
• La mémoire HBM répond à ce défi en empilant les puces au plus près du calcul ; HBM3E atteint jusqu'à ~8 To/s par accélérateur, et le standard HBM4 (publié en avril 2025) double l'interface à 2048 bits.
• Le marché de la HBM est concentré autour de SK Hynix (~62 % en valeur au 2ᵉ trimestre 2025), Micron et Samsung, avec une demande qui réserve la production des années à l'avance.
• Le packaging avancé CoWoS de TSMC conditionne le nombre d'accélérateurs livrables ; sa capacité passe d'environ 35 000 à ~130 000 plaques par mois entre fin 2024 et fin 2026.
• Matériel et logiciel avancent de concert : quantification, gestion du cache, noyaux optimisés prolongent la valeur de chaque octet de bande passante.

Sources

• Gholami et al., « AI and Memory Wall », arXiv (2403.14123) — croissance comparée du calcul et de la bande passante, notion de mur de la mémoire.
• JEDEC — Publication du standard HBM4 (JESD270-4), avril 2025 — interface 2048 bits, canaux, efficacité énergétique.
• Tom's Hardware — HBM4 : interface 2048 bits et feuilles de route SK Hynix / Samsung / Micron
• Wikipedia — High Bandwidth Memory — bandes passantes HBM3 / HBM3E, architecture d'empilement.
• WikiChip — TSMC CoWoS (Chip-on-Wafer-on-Substrate) — principe de l'intégration 2,5D et interposeur.
• Tom's Hardware — Interposeurs CoWoS « super carrier » : vers 9 réticules et 12 piles HBM4
• Yotta Labs — Pourquoi l'inférence des grands modèles sous-utilise le calcul : bande passante et cache clé-valeur
• NVIDIA — Techniques d'optimisation de l'inférence des grands modèles de langage — phases prefill/décodage, rôle de la mémoire.