MoE et activation parcimonieuse : lecture d'un levier d'efficacité

Commençons par une correction, parce qu'elle conditionne toute la lecture qui suit. On entend souvent que l'architecture à mélange d'experts serait une invention récente, née dans les laboratoires chinois qui l'ont mise en avant à partir de 2024. C'est faux, et il vaut mieux le dire d'emblée : l'idée d'activer seulement une fraction d'un très grand réseau pour chaque entrée est formalisée dès 2017 dans un article de Google signé notamment Noam Shazeer, Geoffrey Hinton et Jeff Dean. Ce que les équipes de DeepSeek, d'Alibaba ou de Zhipu ont fait, c'est autre chose, et c'est tout aussi intéressant : elles ont pris ce levier connu, l'ont raffiné, et l'ont popularisé à une échelle et dans une transparence qui l'ont installé au centre de la conversation. Distinguer l'invention de la popularisation n'est pas un détail d'historien. C'est ce qui permet de comprendre pourquoi le mélange d'experts est aujourd'hui partout, et ce que cela révèle de l'économie des grands modèles.

Cet article est une lecture, pas un tutoriel. Il ne s'agit pas d'expliquer comment coder une couche à experts, mais de comprendre pourquoi un mécanisme théorisé il y a près de dix ans est devenu, en l'espace de deux ans, le choix par défaut de presque tous les modèles de pointe en accès ouvert. Les faits — dates, tailles de modèles, comptes de paramètres, noms des équipes — sont vérifiés et sourcés en fin de texte. L'interprétation stratégique qu'on en tire est signalée comme telle, à chaque étape. Quand nous écrivons « on peut lire » ou « cela suggère », c'est une hypothèse de lecture, jamais une certitude.

Le constat : ce que « activation parcimonieuse » veut dire

Posons d'abord le socle vérifiable, celui qui ne relève d'aucune interprétation. Un grand modèle de langage classique est dit « dense » : pour traiter chaque mot, chaque fragment de texte — ce qu'on appelle un jeton — il mobilise l'intégralité de ses paramètres. Un modèle de 70 milliards de paramètres fait travailler ses 70 milliards de paramètres sur chaque jeton. C'est simple, robuste, et coûteux : la puissance de calcul nécessaire croît en même temps que la taille du modèle, sans échappatoire.

L'architecture à mélange d'experts — en anglais Mixture-of-Experts, souvent abrégée MoE — casse ce lien. Au lieu d'un seul gros bloc de traitement, chaque couche du réseau contient plusieurs sous-réseaux spécialisés, les « experts ». Un petit composant appelé routeur, ou réseau de porte, décide pour chaque jeton quels experts vont le traiter — généralement deux ou huit sur plusieurs dizaines, voire plusieurs centaines. Les autres experts restent au repos pour ce jeton. Résultat : le modèle peut contenir un nombre colossal de paramètres, mais n'en active qu'une petite fraction à chaque passage. On parle alors de paramètres « totaux » et de paramètres « actifs », et l'écart entre les deux est le cœur du sujet.

Cette parcimonie — n'activer que ce qui est utile — a une conséquence directe et mesurable. Le coût de calcul par jeton, à l'inférence comme à l'entraînement, ne dépend plus de la taille totale du modèle mais du volume de paramètres réellement activés. On obtient ainsi la connaissance d'un très grand modèle pour le prix de calcul d'un modèle bien plus petit. C'est ce compromis, et lui seul, qui explique l'engouement actuel.

Un modèle dense paie sur chaque jeton le prix de tous ses paramètres. Un modèle à mélange d'experts ne paie que le prix des experts qu'il réveille. Tout le reste découle de cette bascule.

Le routeur, pièce discrète mais décisive

Pour saisir ce qui se joue, il faut s'arrêter sur le composant le moins visible et pourtant le plus déterminant : le routeur. C'est un petit réseau, minuscule au regard du modèle qu'il pilote, dont la seule mission est de regarder chaque jeton entrant et de décider quels experts vont le traiter. Il attribue à chaque expert un score, retient les mieux notés — les deux meilleurs chez Mixtral, les huit meilleurs chez DeepSeek-V3 ou Qwen3 — et transmet le jeton à ces seuls destinataires. Les autres experts, pour ce jeton précis, ne s'activent pas.

Cette décision de routage, prise des milliards de fois pendant l'entraînement puis à chaque requête, porte une lourde responsabilité. Un bon routeur envoie les jetons vers les experts les plus compétents pour eux, et répartit la charge de façon équilibrée. Un mauvais routeur concentre le travail sur quelques experts et laisse les autres inertes, ce qui revient à payer le stockage d'une capacité qu'on n'utilise jamais. Toute la subtilité du mélange d'experts tient dans cet arbitrage : le routeur doit être assez malin pour spécialiser, sans devenir si sélectif qu'il déséquilibre le réseau. C'est un problème d'apparence anodine qui a occupé une part importante de la recherche du domaine.

Il faut aussi noter que le routeur introduit une forme de discontinuité. Contrairement à un modèle dense où l'information circule de manière lisse, un modèle à experts prend des décisions discrètes — tel jeton part vers tel expert, pas vers tel autre. Cette nature discontinue rend l'entraînement plus délicat à stabiliser, et explique une partie des raffinements successifs apportés depuis 2017 : ajustement des scores, injection d'aléatoire contrôlé, mécanismes de repli quand un expert est saturé. Le mélange d'experts est, à cet égard, autant une affaire de discipline d'entraînement que d'architecture.

Une idée plus ancienne qu'on ne le croit

La généalogie mérite d'être posée précisément, car c'est là que se loge le contresens le plus fréquent. Le principe du mélange d'experts en apprentissage automatique remonte aux années 1990. Mais la forme qui nous intéresse — une couche à experts activée de façon parcimonieuse, insérée dans un réseau de neurones profond moderne — est décrite dans un article de 2017 au titre volontairement provocateur : « Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer ». Ses auteurs, une équipe de Google Brain incluant Noam Shazeer, Azalia Mirhoseini, Quoc Le, Geoffrey Hinton et Jeff Dean, y appliquent des couches à experts entre des blocs de réseaux récurrents, pour la modélisation du langage et la traduction automatique.

Les chiffres de cet article de 2017 sont déjà éloquents : les auteurs construisent des couches contenant jusqu'à des milliers d'experts, et rapportent des modèles atteignant jusqu'à 137 milliards de paramètres, avec des gains de capacité qu'ils chiffrent à plus de mille fois, pour une perte d'efficacité de calcul qu'ils qualifient de mineure. Autrement dit : dès 2017, l'idée de gonfler massivement la capacité d'un modèle sans faire exploser son coût de calcul est non seulement posée, mais démontrée expérimentalement. Le levier existe. Ce qui manque encore, c'est le contexte industriel pour l'exploiter à grande échelle.

Ce contexte arrive vite. En 2020, toujours chez Google, l'article GShard décrit un modèle de traduction à mélange d'experts de 600 milliards de paramètres, entraîné sur 2048 accélérateurs TPU v3 en quatre jours, capable de traduire une centaine de langues vers l'anglais avec un seul modèle. En 2021, l'article Switch Transformer, signé William Fedus, Barret Zoph et de nouveau Noam Shazeer, simplifie encore le mécanisme : il route chaque jeton vers un unique expert plutôt que plusieurs, franchit l'échelle du billion de paramètres, et rapporte un entraînement quatre à sept fois plus rapide qu'un modèle dense équivalent de la famille T5. La lignée est donc claire, documentée, et entièrement issue de la recherche occidentale, essentiellement Google, entre 2017 et 2021.

De l'article de 2017 au Switch Transformer de 2021, en passant par GShard en 2020, la chaîne d'invention du mélange d'experts moderne est occidentale et publique. Ce n'est pas un point de fierté nationale : c'est un fait de chronologie, utile pour lire honnêtement la suite.

La lecture : pourquoi ce levier marche, et à quel prix

Passons maintenant à l'interprétation. Si le mélange d'experts était un repas sans addition, tout le monde l'aurait adopté dès 2018. Or il a fallu attendre 2024 pour qu'il devienne dominant en accès ouvert. Cet écart de plusieurs années raconte quelque chose : la parcimonie d'activation résout un problème réel, mais en crée d'autres, qu'il a fallu du temps et de l'ingénierie pour apprivoiser. Comprendre le levier, c'est comprendre ses deux faces.

La face lumineuse : découpler capacité et coût

Le bénéfice central se lit dans un seul rapport : celui des paramètres totaux aux paramètres actifs. Prenons Mixtral 8x7B, publié par le laboratoire français Mistral AI fin 2023. Chaque couche contient huit experts ; le routeur en sélectionne deux par jeton. Le modèle totalise 47 milliards de paramètres, mais n'en active que 13 milliards à l'inférence. Concrètement, il fonctionne à la vitesse et au coût d'un modèle de 13 milliards de paramètres, tout en atteignant, sur les tests publiés, un niveau comparable à des modèles denses bien plus lourds. Le rapport est ici d'environ trois et demi entre le total et l'actif.

Cet écart s'est ensuite creusé de façon spectaculaire. DeepSeek-V3, dont le rapport technique paraît fin décembre 2024, totalise 671 milliards de paramètres mais n'en active que 37 milliards par jeton — un rapport supérieur à dix-huit. Chaque couche à experts y compte 256 experts routés, dont seulement huit sont réveillés pour un jeton donné, plus un expert dit « partagé » toujours actif. On tient là un modèle qui, à l'inférence, coûte comme un modèle de taille moyenne, tout en logeant la connaissance d'un modèle de très grande taille. C'est exactement la promesse de l'article de 2017, tenue sept ans plus tard à une échelle industrielle.

Cette logique de découplage explique pourquoi le mélange d'experts est devenu si attractif à un moment précis. Vers 2023-2024, deux contraintes se rejoignent : les modèles denses de pointe deviennent trop coûteux à servir à grande échelle, et l'accès aux processeurs graphiques les plus performants se tend pour de nombreux acteurs. Le mélange d'experts offre une réponse directe à ces deux pressions à la fois : plus de capacité pour un coût de service maîtrisé. On peut lire son adoption massive comme la rencontre d'une technique mûre et d'un besoin économique devenu pressant.

Il vaut la peine de chiffrer ce gain, car il ne relève pas de l'estimation vague. Le rapport technique de DeepSeek-V3 indique un entraînement complet réalisé en un peu moins de 2,8 millions d'heures de calcul sur des accélérateurs de la génération H800, chiffre notable pour un modèle de cette échelle. La sobriété de l'entraînement, comme celle du service, découle directement de la parcimonie d'activation : à qualité comparable, on manipule un volume de calcul par jeton bien inférieur à celui qu'exigerait un modèle dense de capacité équivalente. Ce point a une portée qui dépasse la seule facture de calcul : moins de calcul par jeton signifie aussi, à volume d'usage égal, une consommation d'énergie moindre par requête. La parcimonie d'activation n'est donc pas seulement une affaire de budget ; c'est aussi un levier de sobriété énergétique, à une période où l'empreinte des grands modèles fait l'objet d'une attention croissante.

On mesure mieux, dès lors, pourquoi le levier s'est imposé au moment où il l'a fait. La démonstration de 2017 tombait dans un paysage où le coût des modèles n'était pas encore la préoccupation centrale ; la capacité brute primait. Le contexte de 2024 est inverse : la course à la taille se heurte à des limites de coût, d'approvisionnement matériel et d'énergie. Un levier qui promet plus de capacité sans plus de calcul par jeton rencontre alors une demande qui n'existait pas, ou pas avec la même intensité, sept ans plus tôt. Une technologie ne s'impose jamais dans l'abstrait ; elle rencontre, ou non, le besoin de son époque. Le mélange d'experts a rencontré le sien.

La face exigeante : ce que la parcimonie complique

Le mélange d'experts n'est pas un repas sans addition, et il faut en détailler le prix, sous peine de vendre une illusion. Trois difficultés reviennent dans la littérature technique.

• La mémoire. Le modèle doit charger l'intégralité de ses experts, même s'il n'en active qu'une poignée à la fois. DeepSeek-V3 économise du calcul, mais ses 671 milliards de paramètres doivent tous résider quelque part. La parcimonie allège le calcul, pas l'empreinte mémoire. C'est un déplacement du coût, pas une disparition.
• L'équilibrage de charge. Rien ne garantit que le routeur répartisse le travail équitablement entre experts. Si quelques experts sont systématiquement sollicités et d'autres délaissés, le modèle gaspille sa capacité et devient instable à l'entraînement. Les articles fondateurs comme les modèles récents consacrent une part importante de leur ingénierie à ce problème ; DeepSeek-V3 met précisément en avant une stratégie d'équilibrage se passant de la pénalité habituelle, présentée comme l'une de ses contributions.
• La complexité d'entraînement et de service. Router des jetons vers des experts répartis sur de nombreux accélérateurs impose une chorégraphie de communication délicate. C'est là que des travaux comme GShard, dès 2020, ont apporté l'outillage qui manquait. Sans cette plomberie, la belle promesse théorique reste inexploitable en pratique.

Ce trio de contraintes éclaire le décalage temporel évoqué plus haut. Entre l'idée de 2017 et sa généralisation en 2024, il n'y a pas eu d'attente passive : il a fallu résoudre l'équilibrage, industrialiser la communication entre experts, et disposer d'un parc matériel adapté. La popularisation récente n'est donc pas la découverte d'un secret, mais l'aboutissement d'un long travail d'ingénierie qui a rendu le levier fiable et reproductible.

Des experts spécialisés ? Une intuition à nuancer

Le mot « expert » suggère une image séduisante : un expert pour la programmation, un autre pour la poésie, un troisième pour les mathématiques. La réalité est plus subtile, et il importe de ne pas la travestir. Les analyses menées sur Mixtral, par exemple, ont observé que les experts ne se répartissent pas nettement selon des domaines de connaissance identifiables par un humain. La spécialisation se joue à un niveau plus abstrait, souvent lié à des motifs syntaxiques ou à des régularités statistiques du texte, plus qu'à des thématiques que l'on nommerait spontanément. Le routeur découvre pendant l'entraînement une organisation du travail qui lui est propre, et qui ne coïncide pas forcément avec nos catégories intuitives.

Cette nuance a une conséquence pratique. On ne peut pas, en général, désigner un expert et dire « voici l'expert médecine » pour l'isoler ou le remplacer. La spécialisation existe, elle est mesurable, mais elle est diffuse et émergente. C'est un rappel utile : le mélange d'experts est un mécanisme d'efficacité de calcul avant d'être un mécanisme d'organisation lisible du savoir. Prêter aux experts une interprétabilité qu'ils n'ont pas serait une facilité trompeuse.

Il faut également se garder d'une comparaison hâtive entre un modèle à experts et un modèle dense de même total. Un modèle à experts de 400 milliards de paramètres n'égale pas un modèle dense de 400 milliards de paramètres : il n'en active qu'une fraction, et sa qualité se situe, à gros traits, entre celle d'un dense de sa taille active et celle d'un dense de sa taille totale, plus proche du premier que du second selon les tâches. La bonne façon de lire les chiffres du tableau plus bas n'est donc pas « ce modèle vaut un dense de sa taille totale », mais « ce modèle offre une qualité supérieure à ce que son coût de calcul laisserait attendre ». C'est précisément là que réside le gain, et nulle part ailleurs.

La parcimonie d'activation déplace le coût plutôt qu'elle ne l'efface : moins de calcul par jeton, mais plus de mémoire à provisionner et une ingénierie de routage plus délicate. Lire le mélange d'experts sans ce revers reviendrait à ne raconter que la moitié de l'histoire.

La mise en perspective : qui l'utilise, et ce que la carte révèle

Regardons maintenant la carte des acteurs. C'est ici que l'angle « venu d'ailleurs » demande à être manié avec soin. Le levier est occidental d'origine ; sa popularisation la plus visible, en 2024 et 2025, doit beaucoup à des équipes asiatiques qui l'ont adopté ouvertement et documenté abondamment. Les deux affirmations sont vraies simultanément. Détaillons les principaux modèles qui ont installé le mélange d'experts dans le paysage.

Modèle	Équipe / origine	Paramètres totaux	Paramètres actifs	Publication
Mixtral 8x7B	Mistral AI (France)	47 milliards	13 milliards	Décembre 2023
DeepSeek-V3	DeepSeek (Chine)	671 milliards	37 milliards	Décembre 2024
Llama 4 Scout	Meta (États-Unis)	109 milliards	17 milliards	Avril 2025
Llama 4 Maverick	Meta (États-Unis)	400 milliards	17 milliards	Avril 2025
Qwen3-235B-A22B	Alibaba (Chine)	235 milliards	22 milliards	Avril 2025
GLM-4.5	Z.ai / Zhipu (Chine)	355 milliards	32 milliards	Juillet 2025

Mistral : le mélange d'experts entre par l'Europe

C'est un point qu'on oublie souvent dans le récit « asiatique » : le modèle qui a réellement popularisé le mélange d'experts en accès ouvert est européen. Mixtral 8x7B, publié par Mistral AI fin 2023, a fait la démonstration publique et reproductible qu'un modèle à experts en poids ouverts pouvait rivaliser avec des références denses tout en divisant par plusieurs le nombre de paramètres actifs. Beaucoup de praticiens ont découvert la parcimonie d'activation avec ce modèle. La chronologie place donc l'Europe en tête de la vague de popularisation, avant même les grandes annonces asiatiques de fin 2024.

DeepSeek, Qwen, GLM : l'accélération asiatique

La séquence qui suit est celle qui a le plus marqué les esprits, et c'est elle qui nourrit l'idée d'un mélange d'experts « venu de Chine ». Fin décembre 2024, DeepSeek-V3 pousse le rapport total-sur-actif à un niveau inédit tout en étant publié en poids ouverts, ce qui permet à quiconque d'inspecter et de reproduire l'architecture. Au printemps 2025, Alibaba publie Qwen3-235B-A22B, un modèle de 235 milliards de paramètres dont 22 milliards seulement sont activés, avec 128 experts dont huit sont retenus par jeton. En juillet 2025, Zhipu — désormais sous la marque Z.ai — publie GLM-4.5 : 355 milliards de paramètres au total, 32 milliards actifs, accompagné d'une version allégée à 106 milliards totaux pour 12 milliards actifs.

Un détail technique de DeepSeek-V3 illustre bien la finesse atteinte par ces équipes. Là où l'article de 2017 se contentait de quelques dizaines d'experts assez larges, DeepSeek-V3 en aligne 256 par couche, plus fins, dont huit seulement sont réveillés par jeton, complétés par un expert partagé toujours actif chargé de capturer les connaissances communes à tous les contextes. Cette combinaison — un grand nombre d'experts spécialisés et fins, plus une base partagée — est une manière d'obtenir davantage de spécialisation sans sacrifier la stabilité. Elle montre que la contribution de ces laboratoires ne se limite pas à reprendre une recette : elle affine réellement le mécanisme, sur des points où l'article fondateur restait sommaire. Reconnaître cette part d'innovation propre est aussi important que rappeler l'origine occidentale du concept général.

Ce que ces trois lignées ont en commun n'est pas d'avoir inventé le mélange d'experts, mais de l'avoir déployé de façon massive, ouverte et documentée, à un rythme rapproché. On peut lire cette concentration comme la conjonction de plusieurs facteurs : un accès parfois contraint aux accélérateurs les plus récents, qui rend la sobriété de calcul particulièrement précieuse ; une stratégie assumée de diffusion en poids ouverts, qui maximise l'adoption et la visibilité ; et une volonté de rattraper puis d'égaler les références occidentales sur le terrain de l'efficacité plutôt que sur celui de la seule taille brute. Cette lecture reste une hypothèse ; les motivations réelles des équipes ne se réduisent jamais à un facteur unique.

Meta : la confirmation par un acteur historiquement dense

Le signal peut-être le plus parlant vient d'un acteur qu'on n'associait pas au mélange d'experts. Le 5 avril 2025, Meta publie sa famille Llama 4, et bascule pour la première fois ses modèles ouverts vers une architecture à experts. Llama 4 Scout affiche 109 milliards de paramètres totaux pour 17 milliards actifs, avec 16 experts ; Llama 4 Maverick monte à 400 milliards de paramètres totaux, toujours 17 milliards actifs, avec 128 experts. Meta, dont les générations précédentes de Llama étaient denses, adopte donc à son tour le levier. Quand un acteur qui avait fait de la simplicité dense une marque de fabrique change d'approche, on peut y lire un signe que le compromis du mélange d'experts est devenu difficile à ignorer pour qui veut servir de grands modèles à coût maîtrisé.

La carte des adoptants — Mistral en Europe, DeepSeek, Qwen et GLM en Asie, Llama 4 aux États-Unis — dessine une convergence rare : en moins de deux ans, la parcimonie d'activation est passée du statut de technique de recherche à celui de choix par défaut, sur trois continents à la fois.

Et les acteurs les plus fermés ?

Un mot de prudence s'impose sur les modèles propriétaires. Il circule, depuis 2023, l'idée que certains des plus grands modèles fermés — ceux d'OpenAI notamment — reposeraient eux aussi sur une architecture à experts. Ces affirmations relèvent de rumeurs de secteur et de fuites non confirmées, jamais d'annonces officielles vérifiables. Nous ne les traitons donc pas comme des faits. Ce qu'on peut dire sans risque, c'est que le mélange d'experts est aujourd'hui documenté publiquement chez de nombreux acteurs en poids ouverts, et que cette transparence est précisément ce qui a permis à la communauté d'en mesurer les mérites. Pour les modèles fermés, l'honnêteté commande de s'en tenir au conditionnel.

Ce qu'on peut en retenir

Résumons sans surenchère. Le mélange d'experts n'est pas une nouveauté de 2024 : c'est une idée formalisée par Google en 2017, industrialisée par la même maison entre 2020 et 2021, puis popularisée à grande échelle et en accès ouvert par une série d'acteurs — d'abord européen avec Mistral, ensuite et surtout asiatiques avec DeepSeek, Alibaba et Zhipu, enfin confirmé par Meta. Attribuer son invention à un pays serait une erreur ; ignorer le rôle décisif des équipes asiatiques dans sa diffusion récente en serait une autre. La formulation juste tient dans une phrase : le levier est ancien et occidental d'origine, sa généralisation est récente et largement portée par des laboratoires asiatiques ouverts.

Sur le fond technique, le message est tout aussi mesuré. La parcimonie d'activation offre un gain réel et vérifiable — un coût de calcul par jeton découplé de la taille totale du modèle — mais elle le paie en mémoire à provisionner et en complexité d'ingénierie. Ce n'est pas une baguette magique qui rendrait l'intelligence artificielle sans coût ; c'est un déplacement intelligent du coût, du calcul vers la mémoire et l'organisation. Les équipes qui réussissent avec le mélange d'experts sont celles qui maîtrisent l'équilibrage de charge et la communication entre experts, pas seulement celles qui empilent des paramètres.

Reste une lecture prospective, à prendre pour ce qu'elle est — une hypothèse, pas une prédiction. Si la contrainte dominante des prochaines années reste le coût de service des grands modèles, alors la parcimonie d'activation a de bonnes raisons de rester un choix structurant. Elle répond directement, et par construction, à cette contrainte. Mais l'histoire de ce levier enseigne aussi la modestie : entre la démonstration de 2017 et la généralisation de 2024, il s'est écoulé sept années d'ingénierie patiente. Les idées efficaces mettent du temps à devenir des standards, et rien ne dit que le mélange d'experts sera la dernière réponse à la question du coût. Il en est, aujourd'hui, la réponse la plus répandue — et c'est déjà beaucoup.

La leçon la plus utile n'est peut-être pas technique. Elle tient à la manière de raconter l'innovation. Un récit simple — « une percée venue d'un endroit » — est presque toujours plus séduisant qu'un récit exact — « une idée ancienne, longuement mûrie, puis popularisée par plusieurs équipes réparties sur trois continents ». Le mélange d'experts est un bon rappel que l'efficacité, en intelligence artificielle, se construit rarement d'un seul coup et rarement en un seul lieu. Elle se sédimente, article après article, modèle après modèle, jusqu'à devenir si évidente qu'on en oublie l'origine. Redonner à chaque contributeur sa place, c'est le minimum qu'on doive à un levier qui fait aujourd'hui tourner une bonne partie des modèles que nous utilisons.

Sources

• Shazeer et al. (2017), « Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer » — arXiv 1701.06538
• Lepikhin et al. (2020), « GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding » — arXiv 2006.16668
• Fedus, Zoph, Shazeer (2021), « Switch Transformers: Scaling to Trillion Parameter Models » — arXiv 2101.03961
• Jiang et al. (2024), « Mixtral of Experts » (Mistral AI) — arXiv 2401.04088
• DeepSeek-AI (2024), « DeepSeek-V3 Technical Report » — arXiv 2412.19437
• Meta AI (avril 2025), « The Llama 4 herd » — annonce officielle
• Meta / Hugging Face — fiche du modèle Llama 4 Maverick (paramètres totaux et actifs)
• VentureBeat (2025), Qwen3-235B-A22B d'Alibaba — paramètres totaux et actifs
• InfoQ (2025), « GLM-4.5 Launches » (Z.ai / Zhipu) — 355B totaux / 32B actifs