Mixture-of-Experts : pourquoi les modèles activent seulement une partie d'eux-mêmes

Imaginez un cabinet de conseil qui emploierait des centaines de spécialistes. Face à chaque dossier, plutôt que de convoquer tout le monde en réunion, une secrétaire avisée n'appelle que les deux ou trois experts réellement compétents sur la question. Le cabinet dispose d'un savoir immense, mais chaque consultation reste rapide et peu coûteuse. C'est exactement ce que fait un modèle de langage à Mixture-of-Experts : il abrite des centaines de milliards de paramètres, mais n'en active qu'une petite fraction pour traiter chaque mot. Cette idée, longtemps restée dans l'ombre des laboratoires, est devenue en quelques années l'un des piliers de l'IA moderne. Elle explique comment des modèles toujours plus vastes restent économiquement exploitables — et pourquoi la phrase « ce modèle compte mille milliards de paramètres » ne signifie pas ce que l'on croit.

Cet article propose une explication accessible, sans équation, du Mixture-of-Experts (MoE). Nous verrons d'où vient l'idée, comment elle fonctionne concrètement, quels problèmes elle résout et lesquels elle crée, et pourquoi la quasi-totalité des grands modèles ouverts récents l'ont adoptée. L'objectif n'est pas de faire de vous un ingénieur en apprentissage automatique, mais de vous donner les clés pour comprendre une notion qui revient sans cesse dans l'actualité de l'IA — et pour lire les annonces de nouveaux modèles avec un œil averti.

Un mot de méthode, d'abord. Le vocabulaire du MoE est truffé de termes techniques : « experts », « routeur », « activation parcimonieuse », « équilibrage de charge ». Nous allons les traduire un à un, en les rattachant à des images simples. Car derrière le jargon se cache une intuition remarquablement limpide : quand un problème est vaste et varié, mieux vaut mobiliser le bon spécialiste que de faire plancher tout le monde sur tout.

Le problème de fond : la loi des rendements coûteux

Pour comprendre pourquoi le MoE existe, il faut d'abord comprendre ce qu'il vient résoudre. Depuis l'avènement des grands modèles de langage, une règle empirique s'est imposée : plus un modèle est gros — plus il compte de paramètres — plus il est capable. Les paramètres sont les milliards de valeurs numériques qu'un modèle ajuste pendant son entraînement ; ils constituent, en quelque sorte, sa mémoire et son savoir-faire. Augmenter leur nombre, c'est augmenter la capacité du modèle à absorber et restituer des connaissances.

Mais cette montée en puissance a un prix, et il est vertigineux. Dans un modèle dit « dense » — l'architecture classique — l'intégralité des paramètres est mobilisée pour traiter chaque mot, ou plus exactement chaque « token » (un fragment de mot). Doubler la taille du modèle, c'est donc doubler le coût de calcul de chaque token, à l'entraînement comme à l'utilisation. Pour un modèle très grand, générer une seule réponse peut mobiliser des dizaines de milliards d'opérations par mot produit.

L'analogie du cabinet

Reprenons notre cabinet de conseil. Un modèle dense fonctionne comme une entreprise où chaque dossier, quel qu'il soit, serait examiné par la totalité des employés. Une question de fiscalité ? Tout le monde en réunion, y compris les spécialistes du droit maritime et les experts en marketing. Une question de logistique ? Rebelote, tout le monde autour de la table. Le résultat est de qualité — la somme des compétences est là — mais le coût est démentiel, car on paie à chaque fois le temps de dizaines de personnes qui n'ont rien à apporter.

Intuitivement, on sent qu'il y a du gaspillage. La plupart des connaissances d'un très grand modèle ne sont pas pertinentes pour un token donné : quand le modèle génère un mot dans une phrase de cuisine, ses paramètres spécialisés dans la programmation informatique ou la poésie du XVIe siècle ne servent à rien. Pourtant, dans un modèle dense, ils sont tous sollicités, tous calculés, à chaque fois. Le Mixture-of-Experts part précisément de ce constat : et si l'on ne mobilisait que les paramètres pertinents pour chaque token ?

La question centrale du MoE tient en une phrase : pourquoi faire calculer l'ensemble du modèle pour chaque mot, alors qu'une petite partie suffirait ?

Une idée qui a trente ans

Contrairement à ce que l'effervescence médiatique pourrait laisser croire, le Mixture-of-Experts n'est pas une invention récente. L'idée remonte à 1991, dans un article fondateur intitulé « Adaptive Mixtures of Local Experts », signé par Robert Jacobs, Michael Jordan, Steven Nowlan et Geoffrey Hinton — ce dernier étant l'une des figures majeures de l'apprentissage profond. Publié dans la revue Neural Computation, ce travail proposait déjà l'intuition fondamentale : plutôt qu'un unique réseau qui apprend tout, on assemble plusieurs réseaux « experts », chacun se spécialisant sur une partie du problème, et un mécanisme apprend à répartir les cas entre eux.

Dans leur démonstration, les auteurs appliquaient cette approche à une tâche de discrimination de voyelles. Le système apprenait spontanément à découper le problème en sous-tâches, chaque expert prenant en charge un sous-ensemble de cas qu'il pouvait résoudre avec un réseau très simple. L'idée maîtresse était là, complète : la spécialisation par division du travail, orchestrée par un mécanisme d'aiguillage. Il ne manquait alors que l'échelle et la puissance de calcul pour en faire une révolution pratique.

Le réveil de 2017

Le concept est resté longtemps marginal, faute de contexte matériel favorable. Il a fallu attendre 2017 pour qu'il revienne au premier plan, avec un article au titre volontairement provocateur : « Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer » (« Réseaux de neurones scandaleusement grands »). Signé notamment par Noam Shazeer, Quoc Le, Geoffrey Hinton et Jeff Dean, ce travail intégrait pour la première fois une couche MoE dans des réseaux modernes, insérée entre des couches de traitement du langage.

Les chiffres avaient de quoi surprendre pour l'époque : les auteurs décrivaient un modèle atteignant jusqu'à 137 milliards de paramètres, réparti sur des milliers de sous-réseaux experts, tout en ne payant qu'un coût de calcul modeste par exemple traité. Ils rapportaient des améliorations de capacité supérieures à un facteur mille, avec une perte d'efficacité minime sur les grappes de processeurs graphiques de l'époque. C'est cet article qui a rendu au MoE sa crédibilité et ouvert la voie à son adoption dans les grands modèles de langage.

Le tournant Transformer

L'étape suivante fut décisive. En janvier 2021, une équipe de Google Brain — William Fedus, Barret Zoph et Noam Shazeer — publiait « Switch Transformers », un travail qui portait la mise à l'échelle jusqu'au trillion de paramètres (mille milliards). Les auteurs y simplifiaient radicalement le mécanisme : au lieu de sélectionner plusieurs experts par token, le « Switch » n'en retenait qu'un seul, le meilleur. Cette simplification réduisait la complexité, les coûts de communication entre puces et les instabilités d'entraînement qui freinaient jusque-là le MoE.

Le message du Switch Transformer était clair : on pouvait augmenter la taille d'un modèle en ajoutant des experts, tout en maintenant constant le coût de calcul par token. Autrement dit, on découplait enfin la capacité du modèle de son coût d'inférence. C'est ce découplage, hérité d'une lignée de trente ans de recherche, qui allait devenir le socle des grands modèles ouverts de la décennie 2020.

Comment ça marche, concrètement

Entrons maintenant dans la mécanique. Un modèle de langage moderne est bâti par empilement de couches identiques, appelées couches Transformer. Chacune comporte deux grandes parties : un mécanisme d'attention, qui permet à chaque mot de « regarder » les autres mots du contexte, et un bloc de traitement dense appelé réseau à propagation avant (en anglais feed-forward network). Dans un modèle classique, ce second bloc est un gros réseau unique, activé en totalité pour chaque token.

Le Mixture-of-Experts remplace ce bloc unique par plusieurs blocs plus petits — les experts — et ajoute un petit aiguilleur — le routeur — chargé de décider, pour chaque token, quels experts vont travailler. Le reste de l'architecture (l'attention, notamment) demeure inchangé. C'est une modification chirurgicale, localisée à un endroit précis du réseau, et c'est précisément ce qui la rend si facile à adopter.

Les experts

Chaque expert est, techniquement, un petit réseau autonome : une couche qui augmente la dimension des données, une fonction d'activation non linéaire, puis une couche qui réduit à nouveau la dimension. En clair, c'est une unité de traitement complète, capable de transformer une représentation en une autre. Une couche MoE en aligne un grand nombre côte à côte — 8 dans un modèle comme Mixtral, plusieurs dizaines voire centaines dans d'autres.

Un point mérite d'être clarifié tout de suite, car il donne lieu à de nombreux malentendus. On pourrait croire que chaque expert se spécialise dans un domaine humainement identifiable : un expert « médecine », un expert « droit », un expert « cuisine ». La réalité est plus subtile. Les spécialisations qui émergent au fil de l'entraînement sont souvent abstraites et difficiles à interpréter — un expert peut se spécialiser dans certains motifs grammaticaux, certains types de ponctuation ou certaines transitions logiques, sans correspondre à un « sujet » au sens où nous l'entendons. La spécialisation est réelle, mais elle ne cartographie pas nos catégories intuitives.

Le routeur

Le routeur — parfois appelé réseau de porte, ou gating network — est le chef d'orchestre. Pour chaque token, il calcule un score pour chaque expert disponible, puis sélectionne ceux qui obtiennent les meilleurs scores. C'est la fameuse sélection « top-K » : on ne retient que les K meilleurs experts, K étant typiquement 1 ou 2. Les autres experts, pour ce token précis, restent inactifs — leurs paramètres ne sont tout simplement pas calculés.

Une fois les experts sélectionnés, le token est traité par chacun d'eux, et leurs sorties sont recombinées en une moyenne pondérée : plus un expert a reçu un score élevé du routeur, plus sa contribution pèse dans le résultat final. C'est cette pondération qui permet au modèle de « doser » l'apport de chaque spécialiste. Le routeur, lui aussi, apprend pendant l'entraînement : il affine progressivement sa capacité à envoyer chaque token vers les experts qui le traiteront le mieux.

L'activation parcimonieuse, le cœur du système

Nous arrivons à la notion centrale : l'activation parcimonieuse (en anglais sparse activation). Le mot « parcimonieux » signifie ici « qui n'active qu'une petite partie ». Prenons l'exemple concret de Mixtral 8x7B, publié par Mistral fin 2023, dont le rapport technique (janvier 2024) fournit des chiffres précis. Chaque couche comporte 8 experts ; pour chaque token, le routeur en sélectionne 2. Résultat spectaculaire : le modèle totalise 47 milliards de paramètres, mais chaque token n'en mobilise que 13 milliards environ.

Ce chiffre appelle une remarque importante, car il déjoue une intuition arithmétique. On pourrait croire que 8 experts de 7 milliards de paramètres donnent 56 milliards au total, et que 2 experts activés donnent 14 milliards. En réalité, seuls les blocs de traitement sont dupliqués en experts ; les couches d'attention et d'autres composants restent partagés entre tous. D'où les chiffres officiels de 47 milliards au total et 13 milliards actifs. La leçon à retenir est simple : dans un modèle MoE, le nombre de paramètres « total » et le nombre de paramètres « actifs » sont deux grandeurs distinctes, qu'il ne faut jamais confondre.

Un modèle MoE dispose de la connaissance que permet un très grand nombre de paramètres, mais ne paie, à chaque mot, que le coût de calcul d'une petite fraction d'entre eux. Capacité et coût sont découplés.

C'est ce découplage qui fait toute la valeur du MoE. Un modèle dense de 47 milliards de paramètres coûterait, à chaque token, le calcul de ses 47 milliards. Le Mixtral, lui, dispose de la même réserve de paramètres mais n'en calcule que 13 milliards par token — soit un coût d'inférence comparable à celui d'un modèle dense trois à quatre fois plus petit, pour une capacité bien supérieure. C'est cette équation qui explique l'engouement des équipes techniques.

Pourquoi le compact ne suffit pas : capacité contre calcul

On pourrait objecter : pourquoi ne pas simplement entraîner un petit modèle dense, si l'on veut un faible coût de calcul ? La réponse tient à une distinction fondamentale entre deux notions que le grand public confond souvent : la capacité de connaissance et le coût de calcul.

La capacité d'un modèle — sa faculté à mémoriser des faits, des styles, des raisonnements, des langues — croît globalement avec son nombre de paramètres. Un petit modèle dense a peu de paramètres, donc une capacité limitée : il oubliera davantage, généralisera moins bien sur les domaines de niche. Le coût de calcul, lui, croît avec le nombre de paramètres activés par token. Dans un modèle dense, ces deux grandeurs sont liées : plus de capacité implique mécaniquement plus de calcul.

Le génie du MoE est de rompre ce lien. En multipliant les experts, on augmente la capacité totale (beaucoup de paramètres en réserve) sans augmenter proportionnellement le calcul (peu de paramètres activés à la fois). On obtient ainsi un modèle qui « sait » beaucoup, tout en « calculant » peu à chaque mot. C'est la meilleure des deux situations : la richesse d'un grand modèle et la vélocité d'un petit.

Une comparaison chiffrée

Pour rendre la chose concrète, comparons trois configurations théoriques :

• Un petit modèle dense de 13 milliards de paramètres : coût de calcul faible, mais capacité de connaissance limitée.
• Un grand modèle dense de 47 milliards de paramètres : capacité élevée, mais coût de calcul près de quatre fois supérieur au précédent.
• Un modèle MoE de 47 milliards au total, 13 milliards activés : la capacité de connaissance se rapproche de celle du grand modèle dense, pour un coût de calcul par token proche de celui du petit.

Bien sûr, cette présentation simplifie : un modèle MoE ne rivalise pas exactement avec un modèle dense de sa taille totale, car ses paramètres sont fragmentés et sa capacité effective se situe quelque part entre le nombre actif et le nombre total. Mais l'ordre de grandeur est là, et il est frappant. C'est pourquoi les rapports techniques insistent tant sur ce ratio : il résume à lui seul l'intérêt économique de l'architecture.

Les difficultés bien réelles du MoE

Le Mixture-of-Experts n'est pas une solution magique dénuée de contreparties. Son adoption tardive dans les grands modèles s'explique par plusieurs difficultés techniques que les chercheurs ont mis des années à maîtriser. Les passer sous silence donnerait une image faussement idyllique.

L'effondrement du routage

Le premier obstacle, et le plus redouté, est l'effondrement du routage (en anglais expert collapse ou déséquilibre de charge). Le problème est le suivant : rien ne garantit que le routeur répartisse équitablement les tokens entre les experts. Au contraire, une dynamique perverse peut s'installer. Si, au début de l'entraînement, quelques experts se trouvent légèrement meilleurs, le routeur leur envoie plus de tokens ; recevant plus d'entraînement, ils s'améliorent encore, attirant encore plus de tokens. Un cercle vicieux se forme, où une poignée d'experts monopolisent le travail tandis que les autres restent sous-utilisés.

Les conséquences sont doubles et fâcheuses. D'une part, le modèle gaspille sa capacité : les experts délaissés, à peine entraînés, sont autant de paramètres inutiles. D'autre part, sur le plan matériel, la répartition inégale crée des goulets d'étranglement, car les experts surchargés deviennent des points de blocage pendant le calcul distribué. Un MoE mal équilibré, c'est un modèle qui se comporte comme s'il avait beaucoup moins d'experts qu'annoncé — et donc beaucoup moins de valeur qu'espéré.

Les parades classiques

Pour éviter cet effondrement, les concepteurs ont développé plusieurs mécanismes. Le plus répandu est la perte d'équilibrage de charge : pendant l'entraînement, on ajoute au modèle un objectif secondaire qui le pénalise lorsque la répartition entre experts devient trop inégale. Le modèle est ainsi incité à distribuer les tokens plus uniformément. On impose aussi souvent une capacité maximale par expert : au-delà d'un certain nombre de tokens, un expert « déborde » et les tokens excédentaires sont redirigés ou sautent la couche.

Ces parades fonctionnent, mais introduisent un compromis subtil : plus on force l'équilibre, plus on risque de contrarier l'apprentissage de la tâche principale. Le routeur voudrait envoyer un token vers le meilleur expert ; la contrainte d'équilibrage lui souffle parfois de le placer ailleurs. Trouver le bon dosage entre spécialisation et équilibre est l'un des arts les plus délicats de l'entraînement d'un MoE, et une part importante des progrès récents porte précisément sur cette question.

La mémoire : le talon d'Achille

Une autre contrainte, souvent sous-estimée, concerne la mémoire. Certes, un modèle MoE calcule peu par token. Mais pour être utilisable, l'ensemble de ses paramètres — tous les experts, y compris ceux qui resteront inactifs — doit être chargé en mémoire. Un modèle de plusieurs centaines de milliards de paramètres totaux exige donc une infrastructure mémoire considérable, même si son coût de calcul est modeste. Le facteur limitant d'un déploiement MoE n'est donc pas tant la puissance de calcul brute que la capacité mémoire du parc matériel.

Cette caractéristique oriente les choix d'infrastructure. Pour amortir le coût de chargement d'un grand modèle en mémoire, on a intérêt à le mutualiser entre de nombreuses requêtes simultanées, ce qui suppose une organisation matérielle adaptée. Le MoE est, en ce sens, une architecture qui récompense les déploiements à grande échelle et pénalise l'usage isolé sur du petit matériel — même si les techniques de compression atténuent progressivement cette contrainte.

La sophistication contemporaine : l'exemple DeepSeek

Les grands modèles ouverts récents ont poussé le raffinement du MoE bien au-delà des premières implémentations. L'écosystème DeepSeek en offre une illustration particulièrement documentée, avec deux innovations exposées dans les articles « DeepSeekMoE » (janvier 2024) et « DeepSeek-V2 » (mai 2024), tous deux publics.

Des experts plus fins, plus spécialisés

La première idée est la segmentation fine des experts. Plutôt que quelques gros experts, on en crée un plus grand nombre de plus petits. L'intuition est la suivante : avec des experts plus fins, chacun peut se spécialiser plus précisément, et le routeur dispose de combinaisons plus nombreuses pour composer la réponse à chaque token. Là où un système à 8 gros experts n'offre qu'un choix grossier, un système à plusieurs dizaines d'experts fins permet un aiguillage bien plus précis, et donc une meilleure adéquation entre chaque token et les compétences mobilisées.

Concrètement, dans DeepSeek-V2, chaque couche MoE compte 160 experts routés — un nombre bien supérieur aux 8 de Mixtral — et le routeur en active 6 pour chaque token. Cette granularité plus fine est l'un des ingrédients de la spécialisation poussée que les auteurs ont mise en évidence par des études d'ablation, c'est-à-dire en retirant successivement chaque composant pour mesurer sa contribution réelle.

L'expert partagé

La seconde idée est l'isolation d'experts partagés. Le principe : réserver un ou plusieurs experts qui restent toujours actifs, pour tous les tokens, en plus des experts sélectionnés par le routeur. Ces experts partagés captent les connaissances communes — la grammaire de base, les tournures fréquentes, le socle général du langage — que tous les tokens partagent, quel que soit leur domaine. Dans DeepSeek-V2, on compte ainsi 2 experts partagés, toujours activés, aux côtés des 6 experts routés sélectionnés parmi les 160.

L'avantage est élégant. En confiant le savoir commun à des experts partagés, on libère les experts routés de la nécessité de réapprendre chacun les mêmes bases. Ceux-ci peuvent alors se consacrer entièrement à leur spécialité, sans redondance. On réduit ainsi le gaspillage lié au fait que, sans ce mécanisme, chaque expert devrait dupliquer les connaissances élémentaires. C'est une manière astucieuse de faire cohabiter un socle commun et une spécialisation poussée dans une même architecture.

La combinaison d'experts fins et d'experts partagés illustre une maturation du MoE : on ne se contente plus d'empiler des spécialistes, on organise soigneusement la division du travail entre eux.

Un paysage désormais dominé par le MoE

Ce qui frappe, à l'échelle de l'industrie, c'est la généralisation de l'approche. Le Mixture-of-Experts est passé, en quelques années, du statut de curiosité de laboratoire à celui d'architecture par défaut pour les très grands modèles ouverts. Cette bascule mérite qu'on s'y arrête, car elle témoigne d'un consensus technique rare.

La sortie de Mixtral 8x7B par Mistral, fin 2023, a joué un rôle de vitrine. Le modèle égalait ou dépassait des modèles denses bien plus coûteux à faire tourner sur les tâches évaluées, tout en restant ouvert et exploitable par la communauté. Il a montré qu'un MoE bien conçu n'était pas un compromis technique, mais un avantage net : plus de capacité, moins de calcul par token, à qualité comparable. Cette démonstration publique a levé beaucoup de réticences.

Pourquoi les rumeurs entourent aussi les modèles fermés

Le MoE ne concerne pas que les modèles ouverts. De nombreuses analyses publiques estiment que plusieurs grands modèles fermés parmi les plus connus reposent, eux aussi, sur une architecture Mixture-of-Experts. Ces informations relèvent de l'estimation et non de la confirmation officielle, et il convient de les présenter avec la prudence qui s'impose — les laboratoires concernés communiquent peu sur leurs architectures internes. Mais la convergence des indices suggère que le MoE est bel et bien devenu un standard de fait pour repousser les limites de taille tout en maîtrisant les coûts.

Cette adoption large a une conséquence pratique pour le lecteur d'actualité IA : lorsqu'un nouveau modèle est annoncé avec un nombre de paramètres impressionnant, la première question à se poser est « combien de paramètres actifs ? ». Un chiffre total élevé, sans le chiffre actif, ne dit rien du coût réel du modèle. Cette hygiène de lecture, banale pour les praticiens, reste largement méconnue du grand public — et elle est pourtant essentielle pour ne pas se laisser impressionner par des annonces trompeuses.

Ce que le MoE change en pratique

Sortons du laboratoire pour mesurer les implications concrètes. Pour qui utilise ou évalue des modèles, le Mixture-of-Experts se traduit par des conséquences tangibles, positives comme négatives.

Du côté des bénéfices

Le premier bénéfice est économique. Un modèle MoE offre, à qualité donnée, un coût d'inférence par token nettement inférieur à celui d'un modèle dense équivalent. Pour une application qui traite de gros volumes — assistance à la rédaction, service client, analyse documentaire — cette économie se répercute directement sur la facture. C'est l'une des raisons pour lesquelles les fournisseurs de modèles ouverts privilégient désormais cette architecture pour leurs modèles les plus ambitieux.

Le deuxième bénéfice est la vitesse. Puisque moins de paramètres sont calculés par token, la génération peut être plus rapide qu'avec un modèle dense de capacité comparable. Pour des usages interactifs, où la latence compte, cet avantage est appréciable. Le troisième bénéfice, plus discret, est la possibilité d'atteindre des tailles de modèle — et donc des niveaux de capacité — qui seraient tout simplement inabordables en architecture dense, faute de pouvoir en payer le coût de calcul.

Du côté des précautions

Les contreparties existent, et une évaluation honnête les intègre. Comme nous l'avons vu, le besoin mémoire reste élevé, car tous les experts doivent être chargés. Un modèle MoE de grande taille n'est donc pas nécessairement plus facile à déployer sur du petit matériel qu'un modèle dense modeste : il faut disposer de la mémoire pour héberger l'ensemble des experts, même inactifs.

Par ailleurs, le comportement d'un MoE peut être légèrement moins prévisible qu'un modèle dense, car le routage introduit une part de dynamique interne supplémentaire. Enfin, la qualité effective d'un MoE dépend fortement de la qualité de son entraînement — un modèle victime d'un mauvais équilibrage n'exploitera pas ses experts comme prévu. Comme toujours en IA, le bon réflexe consiste à tester le modèle sur ses propres cas d'usage plutôt qu'à se fier aux seuls chiffres d'architecture.

Une grille de lecture pour l'utilisateur

Pour un responsable technique qui compare des modèles, quelques repères se dégagent :

• Regarder les deux chiffres de paramètres, total et actif : le premier renseigne sur la capacité potentielle, le second sur le coût de calcul.
• Anticiper le besoin mémoire, dimensionné sur le nombre total de paramètres, pas sur le nombre actif.
• Se méfier des annonces qui ne communiquent que le chiffre total : sans le nombre actif, il est impossible d'évaluer le coût réel.
• Toujours tester sur ses données : la performance d'un MoE sur un domaine précis dépend de la manière dont ses experts se sont spécialisés pendant l'entraînement.

Une architecture qui a rouvert le jeu

Au-delà des détails techniques, le Mixture-of-Experts porte une signification plus large pour l'écosystème de l'IA. Pendant des années, le progrès des grands modèles s'est résumé à une équation brutale : plus de paramètres, plus de données, plus de calcul, donc plus d'argent. Cette course favorisait mécaniquement les acteurs disposant des plus grandes ressources matérielles, au détriment des équipes plus modestes.

Le MoE ne renverse pas cette logique, mais il en déplace le centre de gravité. En permettant d'obtenir une grande capacité à coût de calcul contenu, il rouvre le jeu à des équipes qui n'ont pas les moyens des géants. La diffusion de modèles ouverts performants et exploitables — de Mixtral aux familles DeepSeek — témoigne de cette démocratisation. L'ingéniosité architecturale prend le pas, au moins en partie, sur la seule force de frappe financière. Pour l'ensemble de la discipline, c'est une évolution favorable, car elle multiplie les acteurs capables de contribuer à l'état de l'art.

Il faut se garder de tout triomphalisme : le MoE n'est pas le terme de l’histoire, et d'autres architectures continueront d'émerger. Mais il illustre une tendance de fond qui traverse l'IA contemporaine — celle d'une recherche patiente de l'efficacité, où l'on cherche à faire davantage avec moins, plutôt qu'à empiler indéfiniment les ressources. Cette maturité est plutôt rassurante : elle suggère que le progrès de l'IA n'est pas condamné à une escalade sans fin des coûts, mais peut aussi passer par des idées plus astucieuses.

Ce qu'il faut retenir

Récapitulons le chemin parcouru. Le Mixture-of-Experts répond à un problème simple : dans un modèle dense, l'intégralité des paramètres est calculée pour chaque mot, ce qui devient prohibitif à grande échelle. La solution consiste à remplacer un gros bloc de traitement par de nombreux experts spécialisés, et à confier à un routeur le soin de n'en activer qu'une petite fraction pour chaque token. On obtient ainsi un modèle riche en connaissances mais économe en calcul — le découplage entre capacité et coût qui fait toute la valeur de l'approche.

Cette idée, née dans un article de 1991 et mûrie pendant trois décennies, s'est imposée grâce à des travaux successifs : la couche parcimonieuse de 2017, le Switch Transformer de 2021, puis les raffinements des grands modèles ouverts comme la segmentation fine des experts et l'isolation d'experts partagés. Chacune de ces étapes a résolu un problème pratique — l'instabilité, l'effondrement du routage, la redondance des connaissances — et rapproché le MoE de la maturité industrielle qu'il connaît aujourd'hui.

Pour le lecteur, la leçon la plus utile tient en un réflexe : distinguer toujours le nombre de paramètres total du nombre de paramètres actif. Le premier flatte les communiqués de presse ; le second dit le coût réel. Comprendre le Mixture-of-Experts, c'est comprendre pourquoi un modèle peut annoncer des centaines de milliards de paramètres tout en restant abordable — et c'est se donner les moyens de lire l'actualité de l'IA en acteur informé, plutôt qu'en spectateur impressionné par les grands chiffres. C'est, au fond, tout l'objet de cette chronique.

Sources

Cet article s'appuie sur des sources techniques publiques et vérifiables :

• R. Jacobs, M. Jordan, S. Nowlan, G. Hinton, « Adaptive Mixtures of Local Experts », Neural Computation 3(1):79-87, 1991 — DOI 10.1162/neco.1991.3.1.79 (article fondateur du MoE).
• N. Shazeer et al., « Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer » — arXiv 1701.06538 (couche MoE parcimonieuse, jusqu'à 137 milliards de paramètres).
• W. Fedus, B. Zoph, N. Shazeer, « Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity » — arXiv 2101.03961 (routage top-1, mise à l'échelle au trillion de paramètres).
• Mistral AI, « Mixtral of Experts » — arXiv 2401.04088 (8 experts, top-2, 47 milliards de paramètres totaux dont 13 actifs).
• D. Dai et al., « DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models » — arXiv 2401.06066 (segmentation fine des experts, isolation d'experts partagés).
• DeepSeek-AI, « DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model » — arXiv 2405.04434 (160 experts routés, 6 activés, 2 experts partagés).