Mixture-of-Experts : pourquoi les modèles activent seulement une partie d'eux-mêmes

Un modèle de langage moderne peut afficher des centaines de milliards de paramètres et pourtant, à chaque mot qu'il génère, il n'en mobilise qu'une fraction. C'est l'idée vertigineuse derrière le Mixture-of-Experts : ne pas tout calculer, tout le temps, mais choisir dynamiquement les parties du réseau les plus pertinentes pour chaque token. Cette architecture a permis à des laboratoires aux moyens limités de rivaliser avec les géants. Comment fonctionne-t-elle, d'où vient-elle et pourquoi est-elle devenue, en 2024, l'architecture dominante des grands modèles ouverts ? Plongée dans un mécanisme né en 1991 et plus actuel que jamais.

Aux origines : une idée née en 1991

L'histoire du Mixture-of-Experts commence bien avant les transformers. En mars 1991, quatre chercheurs — Robert Jacobs, Michael Jordan, Steven Nowlan et Geoffrey Hinton — publient dans la revue Neural Computation un article intitulé « Adaptive Mixtures of Local Experts ». L'idée centrale est d'une simplicité lumineuse : plutôt que de demander à un réseau de neurones unique de tout apprendre, on divise l'apprentissage entre plusieurs sous-réseaux, les « experts », chacun spécialisé sur une portion du problème. Un mécanisme de « porte » (gate) décide, pour chaque entrée, quel expert doit prendre le relais.

Le contexte de l'époque explique la démarche. Les réseaux de neurones des années 1990 sont petits, lents et limités par la puissance de calcul disponible. La question qui obsède les chercheurs est celle de la modularité : comment faire apprendre à un système des compétences distinctes sans qu'elles se parasitent mutuellement ? Dans un réseau classique, l'apprentissage d'une nouvelle tâche a tendance à effacer ce qui a été appris précédemment — un phénomène appelé « interférence catastrophique ». En confiant chaque type d'entrée à un expert différent, Jacobs et ses collègues espèrent contourner ce problème.

L'article de 1991 décrit un mécanisme d'entraînement conjoint : les experts et la porte apprennent simultanément, par rétropropagation. La porte attribue à chaque expert un poids proportionnel à sa probabilité de produire la bonne réponse. Les experts qui se trompent voient leur influence diminuer, ceux qui réussissent voient la porte les solliciter davantage. Ce schéma, appelé EM (espérance-maximisation) appliqué aux mélanges d'experts, pose les fondations théoriques de tout ce qui suivra.

Pendant près de vingt-cinq ans, le concept reste cantonné à des niches de la recherche. Les architectures à base d'experts sont étudiées, raffinées — Jordan et Jacobs publient en 1994 une version hiérarchique — mais restent marginales face à la domination des machines à vecteurs de support (SVM) puis des premiers réseaux convolutifs. Ce qui manque au MoE pour décoller, c'est l'échelle. Le mécanisme ne révèle sa puissance que lorsque les modèles deviennent assez grands pour que la spécialisation apporte un gain substantiel.

Le basculement intervient en 2017, année charnière. La même équipe Google Brain qui travaille sur les transformers publie, quelques mois avant « Attention Is All You Need », un autre article qui changera tout : Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. Noam Shazeer et ses co-auteurs y réalisent un tour de force : porter l'idée de 1991 à une échelle de 137 milliards de paramètres, en l'intégrant à des réseaux LSTM de bout en bout.

Le principe : déléguer chaque tâche au bon spécialiste

Pour comprendre le Mixture-of-Experts, il faut partir de la distinction entre deux familles d'architectures : les modèles denses et les modèles parcimonieux (sparse). Un modèle dense — l'architecture qui a dominé le paysage depuis l'invention des transformers — active l'intégralité de ses paramètres pour traiter chaque entrée. Chaque token qui traverse le réseau passe par toutes les couches, tous les neurones, toutes les connexions. Le coût de calcul est proportionnel à la taille totale du modèle.

Un modèle MoE fonctionne autrement. À l'intérieur du réseau, certaines couches sont remplacées par un ensemble de sous-réseaux parallèles — les experts. Chaque expert est typiquement un petit réseau feed-forward, identique en structure mais différent en poids. Lorsqu'un token arrive dans une couche MoE, un routeur (l'héritier de la « porte » de 1991) examine ce token et décide quels experts sont les plus pertinents. Seuls ces experts sélectionnés effectuent le calcul ; les autres restent inactifs.

Considérez Mixtral 8x7B, publié par Mistral AI en décembre 2023. Ce modèle compte 46,7 milliards de paramètres au total, répartis entre huit experts. Mais pour chaque token, seuls deux experts sont activés. Résultat : le coût de calcul par token correspond à environ 12,9 milliards de paramètres, soit à peine plus d'un quart du total. Le modèle dispose de la capacité de connaissance permise par 46,7 milliards de paramètres, mais ne paie, à chaque token, le prix de calcul que de 12,9 milliards.

L'analogie la plus parlante est celle d'un hôpital. Un patient qui entre ne consulte pas simultanément tous les spécialistes de l'établissement. Un médecin généraliste (le routeur) examine le cas et oriente vers le service pertinent — cardiologie, dermatologie, neurologie. L'hôpital tout entier dispose d'une somme de compétences bien supérieure à celle d'un seul médecin, mais chaque consultation ne mobilise que les spécialistes concernés. Le Mixture-of-Experts transpose cette logique à l'intérieur même d'un réseau de neurones.

Ce découplage entre capacité (le nombre total de paramètres) et coût de calcul (le nombre de paramètres activés) est la clé de tout l'intérêt du MoE. Il permet de construire des modèles beaucoup plus vastes — et donc plus capables — sans proportionnellement augmenter le coût de chaque inférence. C'est précisément ce qui rend possible un modèle comme Snowflake Arctic, avec ses 480 milliards de paramètres dont seulement 17 milliards sont actifs par token : l'écart entre les deux chiffres est d'un facteur 28.

Le routeur, ce chef d'orchestre miniature

Le routeur est la pièce la plus délicate du dispositif. Sa tâche est exigeante : pour chaque token, parmi des dizaines voire des centaines d'experts, il doit identifier les plus utiles — en un temps négligeable. Le mécanisme repose sur une opération étonnamment simple.

Dans la grande majorité des architectures MoE modernes, le routeur est une couche linéaire minuscule. Il prend le vecteur représentant le token courant, le projette dans un espace de dimension égale au nombre d'experts, applique une fonction softmax pour obtenir des scores normalisés, puis sélectionne les k experts aux scores les plus élevés. Cette valeur k est un choix architectural fondamental : on parle de top-k routing.

Le spectre des stratégies de routage

Le choix de k a des conséquences majeures sur les performances, la qualité et la stabilité de l'entraînement. Voici les principales configurations observées dans les modèles publiés :

• Top-1 : un seul expert activé par token. C'est le choix du Switch Transformer de Google (2021), qui a délibérément simplifié le routage à un seul expert pour réduire la communication entre accélérateurs. Extrêmement efficace, mais plus fragile.
• Top-2 : deux experts activés. C'est la configuration la plus répandue dans les modèles ouverts de 2023-2024 : Mixtral 8x7B, Mixtral 8x22B, Grok-1 de xAI et Snowflake Arctic utilisent toutes le top-2.
• Top-4 : quatre experts activés. DBRX de Databricks utilise 16 experts et en active 4, ce qui offre un équilibre différent entre densité et parcimonie.
• Top-6 ou plus : DeepSeek-V2, avec ses 160 experts routés, en active 6 par token, plus deux experts partagés toujours actifs — une configuration hybride que nous détaillerons plus loin.

Le routeur introduit du bruit volontaire lors de l'entraînement. L'article fondateur de Shazeer en 2017 propose le noisy top-k gating : un bruit gaussien est ajouté aux scores du routeur avant la sélection. Cette astuce, contre-intuitive, améliore l'exploration : elle empêche le routeur de se figer trop vite sur les mêmes experts et encourage une répartition plus équilibrée pendant l'apprentissage.

Une fois les k experts sélectionnés, leurs sorties sont combinées par une moyenne pondérée. Les poids de la combinaison sont les scores softmax du routeur : l'expert jugé le plus pertinent contribue davantage à la sortie. Le token transformé poursuit alors son trajet dans les couches suivantes du transformer, jusqu'à la couche MoE suivante où le processus se répète — potentiellement avec des experts différents.

Capacité, tokens perdus et surcharge

Le routage par token crée un défi d'ingénierie redoutable. Sur un cluster de GPU, les experts sont répartis entre les cartes : si un modèle possède 16 experts et 8 GPU, chaque GPU héberge 2 experts. Lorsque le routeur envoie les tokens vers leurs experts respectifs, les données doivent transiter entre GPU. Cette communication est coûteuse — souvent le principal goulot d'étranglement de l'entraînement MoE.

Pour limiter ce coût, chaque expert reçoit une capacité maximale : un nombre plafond de tokens qu'il peut traiter par étape. Cette capacité est calculée comme la taille du lot divisée par le nombre d'experts, multipliée par un facteur de capacité (capacity factor, généralement entre 1,0 et 1,5). L'idée est simple : si les tokens sont bien répartis, chaque expert devrait recevoir à peu près le même nombre de tokens. Le facteur de capacité ajoute une marge pour absorber les fluctuations.

Mais la répartition n'est jamais parfaitement uniforme. Certains experts, jugés pertinents pour de nombreux tokens, reçoivent plus que leur capacité. Que faire des tokens en surplus ? Deux stratégies coexistent :

• Token dropping : les tokens excédentaires sont simplement abandonnés. Le modèle continue sans eux. C'est économique mais peut dégrader la qualité si trop de tokens sont perdus.
• Token overflow / rerouting : les tokens excédentaires sont renvoyés vers leur deuxième meilleur expert. Plus coûteux en communication mais préserve l'information.

Stratégie	Top-k	Communication inter-GPU	Stabilité d'entraînement	Modèles représentatifs
Top-1 (Switch)	1 expert	Minimale	Sensible aux fluctuations	Switch Transformer (Google, 2021)
Top-2	2 experts	Moderée	Bon équilibre	Mixtral 8x7B, Mixtral 8x22B, Grok-1, Arctic
Top-4	4 experts	Élevée	Très stable	DBRX, Qwen1.5-MoE
Top-6 + partagés	6 + 2 partagés	Élevée	Stable, spécialisation fine	DeepSeek-V2 (2024)

Le facteur de capacité est un paramètre à régler avec soin. Trop bas, et de nombreux tokens sont abandonnés — le modèle perd de l'information. Trop haut, et le système réserve de la mémoire et du temps de calcul pour des experts qui pourraient ne pas en avoir besoin. Les praticiens du MoE accordent beaucoup d'attention à ce compromis, qui n'a pas de solution universelle.

L'effondrement des experts : le grand défi du MoE

Le problème le plus documenté du Mixture-of-Experts porte un nom : le collapse du routage (routing collapse), ou « effondrement des experts ». Il se produit lorsque le routeur, au fil de l'entraînement, converge vers l'utilisation systématique d'un petit sous-ensemble d'experts. Les autres, délaissés, ne sont jamais entraînés : ils restent dans un état aléatoire, inutilisables. Le modèle se comporte alors comme s'il ne disposait que de deux ou trois experts, gaspillant la majeure partie de sa capacité.

Le mécanisme est bien compris. Au début de l'entraînement, certains experts reçoivent par hasard des poids légèrement plus favorables. Comme ils sont plus souvent sollicités, ils apprennent plus vite. Comme ils apprennent plus vite, le routeur les juge plus performants et les sollicite encore davantage. C'est un cercle vertueux pour les experts chanceux, et vicieux pour le système : la rétroaction positive amplifie les déséquilibres initiaux jusqu'à ce que quelques experts monopolisent tout le trafic.

La solution la plus répandue consiste à ajouter un terme de pénalité dans la fonction de coût : la perte d'équilibrage (load balancing loss, ou auxiliary loss). Ce terme mesure l'écart entre la distribution effective des tokens (quels experts sont réellement activés) et une distribution uniforme idéale. Plus les experts sont déséquilibrés, plus la pénalité augmente. Le modèle est donc poussé à répartir ses tokens équitablement.

« Token-choice routing often leads to poor load balancing across experts. Some experts may be trained with most tokens, leaving the remaining experts under-trained. » — Zhou et al., Mixture-of-Experts with Expert Choice Routing, NeurIPS 2022.

Mais la perte auxiliaire introduit un compromis fâcheux. Plus on force l'équilibre, plus on perturbe l'apprentissage de la tâche principale. Le routeur, tiraillé entre « choisir les meilleurs experts » et « choisir équitablement », fait des compromis qui dégradent la qualité du modèle. Ce dilemme a poussé les chercheurs à explorer des voies alternatives.

Expert Choice : inverser le routage

En 2022, une équipe de Google Research propose une idée radicale : Expert Choice Routing. Au lieu que chaque token choisisse ses experts, ce sont les experts qui choisissent leurs tokens. Chaque expert sélectionne, parmi tous les tokens disponibles, ceux pour lesquels il obtient les meilleurs scores d'affinité. Cette inversion garantit un équilibrage parfait : chaque expert reçoit exactement le même nombre de tokens, défini par sa capacité. Le collapse devient structurellement impossible.

L'article de NeurIPS 2022 démontre que cette approche améliore à la fois l'équilibrage et la qualité du modèle. Les experts se spécialisent plus finement et la performance globale augmente. Expert Choice reste toutefois plus complexe à mettre en œuvre, notamment pour la génération auto-régressive où les tokens arrivent un par un — un défi qui freine encore son adoption à grande échelle.

D'autres approches se développent. La perte z-loss pénalise les logits trop grands du routeur pour stabiliser l'entraînement. Le router dropout désactive aléatoirement le routeur pendant certaines étapes pour forcer le modèle à utiliser des experts alternatifs. L'écosystème s'enrichit progressivement de techniques complémentaires, chacune adressant une facette du problème d'équilibrage.

GShard puis Switch Transformer : le passage à l'échelle

L'article de Shazeer en 2017 a posé les fondations. Mais c'est en 2020-2021 que le MoE quitte le laboratoire pour l'ingénierie à très grande échelle. Deux publications de Google, GShard et Switch Transformer, transforment une idée prometteuse en architecture industrielle.

GShard, publié par Lepikhin et ses collègues en juin 2020, applique le MoE à la traduction automatique multilingue. Le modèle atteint 600 milliards de paramètres, entraînés sur 2 048 cœurs TPU v3 en quatre jours. La contribution de GShard n'est pas seulement une question de taille : l'article décrit toute une série d'astuces d'ingénierie — top-2 routing, facteur de capacité, routage hiérarchique, distribution des experts sur les TPU — qui rendent l'entraînement MoE à cette échelle praticable. GShard démontre qu'un modèle MoE de 600 milliards peut surpasser un modèle dense équivalent en coût de calcul, tout en étant entraîné plus rapidement.

Le Switch Transformer, publié par Fedus et ses collègues en janvier 2021, va encore plus loin dans la simplification. Son idée maîtresse : réduire le routage à top-1 — un seul expert par token. Cette simplification extrême diminue la communication inter-GPU, simplifie le code et accélère l'entraînement. Le résultat : un modèle de 1,6 trillion de paramètres (1 600 milliards), le plus grand modèle de langage jamais publié à cette date.

« We simplify the MoE routing algorithm and design intuitive improved models with reduced communication and computational costs. » — Fedus, Zoph et Shazeer, Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity, JMLR 2022.

Le Switch Transformer apporte une conclusion frappante : à coût de calcul fixe, un modèle MoE apprend quatre à sept fois plus vite qu'un modèle dense équivalent. Cette accélération de l'entraînement est le résultat le plus marquant de l'article. Elle signifie que, pour un budget de calcul donné, on peut soit entraîner un meilleur modèle, soit atteindre la même qualité en moins de temps. C'est ce résultat qui convaincra progressivement toute l'industrie d'adopter le MoE.

Le passage au top-1 n'est pas anodin. En n'activant qu'un seul expert, le Switch Transformer maximise la parcimonie — le ratio entre paramètres totaux et paramètres actifs — mais rend l'équilibrage plus fragile. Si un seul expert est sélectionné, la variance statistique de la répartition est plus importante qu'avec un top-2 ou top-4. Google utilisera le Switch Transformer principalement en interne, pour des tâches où la vitesse d'entraînement prime sur la simplicité de déploiement.

2023-2024 : l'explosion des MoE en open source

Pendant des années, le MoE reste l'apanage des grands laboratoires fermés. Google l'utilise en interne, OpenAI aurait intégré une variante MoE dans GPT-4 (sans le confirmer publiquement). Il faut attendre décembre 2023 pour qu'un MoE de qualité commerciale soit publié en open weights : Mixtral 8x7B, par la startup française Mistral AI.

L'impact de Mixtral est considérable. Avec 46,7 milliards de paramètres dont seulement 12,9 milliards actifs par token, le modèle égale ou dépasse GPT-3.5 et Llama 2 70B sur la plupart des benchmarks — tout en tournant, selon Mistral AI, à la vitesse et au coût d'un modèle dense de 12,9 milliards de paramètres seulement. Sa licence Apache 2.0 permet une utilisation commerciale sans restriction. Mixtral 8x7B est le premier MoE qui prouve concrètement, devant toute la communauté, que l'architecture parcimonieuse peut rivaliser avec les meilleurs modèles denses tout en étant nettement plus économique à faire tourner.

Le succès de Mixtral déclenche une vague. En quelques mois, six MoE ouverts majeurs voient le jour :

Modèle	Paramètres totaux	Actifs par token	Experts (total / activés)	Organisation	Date
Mixtral 8x7B	46,7 Mds	12,9 Mds	8 / 2	Mistral AI	Déc. 2023
Qwen1.5-MoE-A2.7B	14,3 Mds	2,7 Mds	60+4 partagés / 4	Alibaba	Mars 2024
Grok-1	314 Mds	—	8 / 2	xAI	Mars 2024
DBRX	132 Mds	36 Mds	16 / 4	Databricks	Mars 2024
Mixtral 8x22B	141 Mds	39 Mds	8 / 2	Mistral AI	Avr. 2024
Snowflake Arctic	480 Mds	17 Mds	128 / 2	Snowflake	Avr. 2024
DeepSeek-V2	236 Mds	21 Mds	160+2 partagés / 6	DeepSeek	Mai 2024

Cette diversité est remarquable à plus d'un titre. D'abord, la taille : les modèles vont de 14 à 480 milliards de paramètres. Ensuite, la parcimonie — le ratio entre paramètres totaux et actifs — varie énormément : Mixtral 8x7B active 28 % de ses paramètres, Snowflake Arctic seulement 3,5 %. Enfin, le nombre d'experts couvre un spectre large, de 8 (Mixtral, Grok) à 160 (DeepSeek-V2).

La parcimonie extrême de DeepSeek-V2 mérite une attention particulière. Ce modèle de 236 milliards de paramètres, dont 21 milliards seulement sont activés par token, illustre une stratégie résolument différente de celle de Mixtral. Là où Mistral mise sur un petit nombre d'experts de taille moyenne (8 experts, 2 activés), DeepSeek segmente finement : 160 experts routés, 6 activés, plus 2 experts partagés toujours actifs. Cette configuration « experts fins + experts partagés » est directement issue du papier DeepSeekMoE publié quelques mois plus tôt. Le résultat est un modèle qui, à coût d'inférence équivalent à un dense de 21 milliards, rivalise avec des modèles denses de 70 milliards et plus.

Le cas de Grok-1 mérite une mention. Ce modèle de 314 milliards de paramètres, développé par xAI (l'entreprise d'Elon Musk), a été publié en open source en mars 2024 avec ses poids complets. C'était à l'époque le plus grand modèle open weights jamais publié. Son architecture MoE — 8 experts, top-2 — illustre comment le schéma popularisé par Mixtral est devenu un standard de fait dans l'industrie.

Snowflake Arctic explore une voie originale : l'hybride Dense-MoE. Le modèle combine un transformer dense de 10 milliards de paramètres, toujours actif, avec une couche MoE de 128 experts dont seulement 2 sont activés par token. Le résultat : 480 milliards de paramètres au total, 17 milliards actifs — un facteur de parcimonie exceptionnel de 1 sur 28. Arctic cible spécifiquement les usages en entreprise, avec un entraînement optimisé pour SQL et les tâches analytiques.

Qwen1.5-MoE-A2.7B, de son côté, prouve l'intérêt du MoE aux petites échelles. Avec seulement 2,7 milliards de paramètres actifs sur 14,3 milliards au total, ce modèle d'Alibaba rivalise avec les modèles denses de 7 milliards comme Mistral 7B. L'équipe Qwen parvient à ce résultat en segmentant finement les experts : 64 experts au total — 60 experts routés, dont 4 sont activés par token, plus 4 experts partagés toujours actifs — avec une technique d'initialisation héritée d'un modèle dense préexistant qui accélère la convergence.

Experts fins et experts partagés : les innovations de 2024

L'année 2024 apporte deux innovations architecturales qui raffinent considérablement le MoE. Toutes deux proviennent d'un laboratoire relativement discret : DeepSeek, basé à Hangzhou.

La première innovation, décrite dans le papier DeepSeekMoE publié en janvier 2024, est la segmentation fine des experts (fine-grained expert segmentation). L'idée est de partir d'une configuration MoE standard — disons N experts de taille S — et de subdiviser chaque expert en m sous-experts plus petits. On obtient ainsi m×N experts de taille S/m, et on en active m fois plus par token.

Le résultat paraît contre-intuitif : on augmente le nombre d'experts activés, ce qui augmente la communication, mais on gagne en flexibilité. Avec des experts plus petits et plus nombreux, le routeur peut combiner un bien plus grand nombre de configurations. Là où un top-2 parmi 8 experts n'offre que 28 combinaisons possibles, un top-4 parmi 60 experts en offre 487 635. Databricks fait la même observation pour DBRX : avec 16 experts dont 4 activés, le modèle propose 65 fois plus de combinaisons que Mixtral 8x7B.

Cette diversité de combinaisons se traduit par une meilleure qualité du modèle. Les experts fins peuvent se spécialiser sur des compétences plus étroites et se combiner de manière plus riche. DeepSeek montre que, à coût de calcul équivalent, un MoE à experts fins surpasse un MoE à experts gros sur les benchmarks de langage.

La deuxième innovation est l'isolation des experts partagés (shared expert isolation). Dans un MoE classique, tous les experts sont en concurrence : le routeur choisit les plus pertinents et ignore les autres. Mais certaines connaissances — la grammaire de base, la syntaxe, les raisonnements logiques fondamentaux — sont nécessaires pour pratiquement tous les tokens. Les confier à un système de routage compétitif, c'est courir deux risques : que ces connaissances soient diluées entre de nombreux experts, ou qu'un seul expert devienne un « expert attrape-tout » saturé de requêtes.

DeepSeekMoE propose de réserver un ou plusieurs experts partagés, toujours activés quel que soit le token. Ces experts captures les connaissances communes. Les experts routés, libérés de cette charge, peuvent se spécialiser sur des aspects plus spécifiques. DeepSeek-V2 utilise 2 experts partagés en plus de ses 160 experts routés. Le résultat est un modèle qui combine les avantages du dense (un socle de compétences toujours disponible) et du MoE (une spécialisation dynamique pour chaque token).

« Fine-grained expert segmentation allows diverse knowledge to be decomposed more finely and be learned more precisely into different experts. » — Dai et al., DeepSeekMoE: Towards Ultimate Expert Specialization, ACL 2024.

Que font vraiment les experts ? Spécialisation et interprétation

Une question naturelle se pose : que représentent les experts ? Sont-ils réellement spécialisés sur des domaines identifiables, ou se contentent-ils de répartir la charge de calcul de façon opaque ? Les études d'interprétabilité apportent des réponses fascinantes.

Les premières analyses sur Switch Transformer, puis sur Mixtral et d'autres MoE ouverts, révèlent une spécialisation emergente. Les experts ne se structurent pas par « sujet » au sens humain — il n'y a pas un expert « maths » et un expert « histoire ». La spécialisation est plus syntaxique que sémantique : certains experts traitent préférentiellement la ponctuation, d'autres les nombres, d'autres les tokens de code, d'autres encore les mots-outils. Cette granularité fine reflète la nature du signal appris par le routeur : ce sont des régularités statistiques dans les données d'entraînement, pas des catégories conceptuelles humaines.

Des travaux récents, notamment ceux utilisant le dictionary learning pour analyser les activations d'experts, montrent que ceux-ci forment des « groupes collaboratifs » — des coalitions d'experts activés ensemble de façon récurrente. Ces groupes émergent spontanément pendant l'entraînement et présentent une cohérence sémantique : un groupe d'experts peut se spécialiser collectivement sur le raisonnement mathématique, un autre sur la génération de code, sans qu'aucun expert pris isolément ne soit assignable à un domaine unique.

Cette architecture de spécialisation distribuée a une conséquence pratique importante : la redondance. Si un expert est inactif ou perturbé, d'autres peuvent partiellement compenser. Le modèle MoE est, par construction, plus robuste aux défaillances locales qu'un modèle dense où chaque neurone joue un rôle unique. C'est un atout pour le déploiement sur du matériel hétérogène ou dégradé.

Les chercheurs notent aussi un phénomène intriguant : la spécialisation n'est pas immuable. En fine-tunant un MoE sur une tâche spécifique, la distribution d'activation des experts se réorganise. Des experts précédemment dédiés à la ponctuation peuvent se reconvertir vers des motifs pertinents pour la nouvelle tâche. Cette plasticité est un argument en faveur du MoE pour les usages de personnalisation : le modèle s'adapte non seulement par ses poids, mais par sa structure même de routage.

Comprendre ce que le routeur « voit »

Une expérience conceptuelle aide à saisir la nature du routage. Imaginez que l'on fige les poids d'un MoE entraîné et que l'on observe, token par token, quels experts sont sélectionnés. Pour une phrase comme « La fonction f(x) = 2x + 3 est linéaire », le routeur active vraisemblablement des experts sensibles aux symboles mathématiques pour « f », « x », « = », « + », et des experts différents pour les mots du langage courant « La », « fonction », « est », « linéaire ». La frontière entre « mathématique » et « texte » n'est pas nette — c'est une distribution probabiliste sur des combinaisons d'experts. Cette granularité continue est précisément ce qui rend le MoE si flexible : le modèle n'a pas besoin de décider catégoriquement « cette phrase est mathématique », il compose simplement les bons sous-réseaux au bon moment.

Le compromis mémoire-calcul à l'inférence

Le Mixture-of-Experts est souvent présenté comme une solution miracle pour réduire le coût de calcul. La réalité est plus nuancée, et comprendre pourquoi est essentiel pour quiconque envisage de déployer un MoE en production.

Le point clé est la distinction entre flops et mémoire. À chaque token, le modèle MoE ne calcule qu'avec une fraction de ses paramètres — c'est vrai, et c'est un avantage réel : moins de multiplications matricielles, donc une génération plus rapide. Mais tous les paramètres doivent être présents en mémoire, qu'ils soient activés ou non. Un modèle de 480 milliards de paramètres comme Snowflake Arctic, même s'il n'en active que 17 milliards par token, occupe l'intégralité de ces 480 milliards en VRAM.

Concrètement, Arctic en précision 16 bits nécessite environ 960 gigaoctets de mémoire vive pour l'inférence — soit plusieurs GPU H100 (80 Go chacun) rien que pour charger les poids. Le coût d'achat ou de location de cette infrastructure n'est pas négligeable, même si chaque token généré coûte peu de flops. C'est ce qu'on appelle le taxe mémoire du MoE : on paie pour stocker des paramètres qui dorment.

Cette tension entre mémoire et calcul explique pourquoi les modèles MoE sont particulièrement attractifs dans deux scénarios :

• Le cloud à grande échelle, où l'on peut répartir les experts sur plusieurs GPU et traiter de nombreuses requêtes en parallèle. Le coût marginal par requête est bas, et le coût fixe de l'infrastructure est amorti sur un volume élevé de trafic.
• L'entraînement, où le MoE bronne véritablement : à coût de calcul fixe, on apprend plus vite (le résultat de Switch Transformer). Le surcoût mémoire pendant l'entraînement est moins problématique car les clusters d'entraînement sont dimensionnés pour la capacité, pas pour l'économie.

En revanche, pour un déploiement sur une seule carte graphique — un usage de bureau ou un serveur modeste — un MoE de 480 milliards de paramètres est inutilisable, même si seulement 17 milliards sont actifs par token. Pour ces cas d'usage, un modèle dense de 14 milliards reste plus pratique qu'un MoE de 60 milliards dont 14 sont actifs. Le choix entre MoE et dense n'est donc pas universel : il dépend du contexte de déploiement et du ratio entre coût mémoire et coût de calcul disponible.

Les techniques d'offloading (décharger les experts inactifs vers la CPU ou le disque, et les charger à la demande) atténuent ce problème mais introduisent de la latence. Les approches par quantification (représenter les poids sur moins de bits) réduisent l'empreinte mémoire au prix d'une légère dégradation de qualité. L'écosystème d'optimisation pour MoE se développe rapidement, mais le compromis fondamental reste structurant.

L'asymétrie entraînement / inférence

Un aspect souvent mal compris du MoE est l'asymétrie entre son bénéfice à l'entraînement et son bénéfice à l'inférence. À l'entraînement, le gain est double : moins de calcul par token (donc entraînement plus rapide) et plus de paramètres totaux (donc plus de capacité d'apprentissage). Les deux effets jouent dans le même sens — le modèle apprend mieux et plus vite. C'est ce que Switch Transformer a démontré avec son facteur d'accélération de 4 à 7.

À l'inférence, le bénéfice est plus subtil. Le coût par token est bien réduit par rapport à un modèle dense de même taille totale — c'est indéniable. Mais si l'on compare à un modèle dense de même coût de calcul (donc de même nombre de paramètres actifs), le MoE n'est avantageux que si sa capacité supplémentaire se traduit par une meilleure qualité. Ce n'est pas toujours le cas : un MoE mal équilibré, où de nombreux experts sont sous-entraînés, peut être moins performant qu'un dense de même coût. La qualité d'un MoE dépend crucialement de la qualité de son équilibrage — d'où l'importance des techniques d'équilibrage décrites précédemment.

Où va le Mixture-of-Experts ?

Trois tendances se dessinent à l'horizon de fin 2024, chacune portée par des résultats tangibles.

La première est la généralisation des experts fins. La démonstration de DeepSeekMoE — que multiplier les experts de petite taille améliore la qualité à coût de calcul constant — est convaincante. DBRX l'adopte avec 16 experts, DeepSeek-V2 avec 160. La logique sous-jacente est que la spécialisation est d'autant plus utile qu'elle est précise : des experts étroits, activés en combinaisons riches, capturent des motifs que de gros experts ne peuvent isoler. On peut s'attendre à voir les futurs modèles pousser encore plus loin ce principe, avec des centaines, voire des milliers d'experts par couche.

La deuxième tendance est l'équilibre sans perte auxiliaire. Le dilemme entre équilibrage et qualité, hérité des pertes auxiliaires classiques, est en train d'être résolu. DeepSeek-V2 introduit un ajustement dynamique des biais du routeur — un mécanisme qui équilibre la charge sans terme de pénalité. D'autres équipes explorent des variantes d'Expert Choice adaptées à la génération séquentielle. Le rêve d'un MoE qui s'équilibre tout seul, sans compromis sur la qualité, se rapproche.

La troisième est l'hybridation dense-MoE. Snowflake Arctic combine un transformer dense de 10 milliards avec une couche MoE. D'autres architectures, comme Jamba d'AI21 Labs, hybrident MoE et mécanismes d'attention alternatifs. L'idée émerge que le MoE n'est pas une architecture monolithique mais un composant, à intégrer dans un pipeline plus large. Les futures architectures pourraient alterner couches denses, couches MoE, couches d'attention à mémoire étendue, chacune optimisée pour sa fonction.

Au-delà de ces tendances techniques, le phénomène le plus marquant est la démocratisation. En deux ans, le MoE est passé du secret bien gardé des laboratoires fermés à l'architecture standard des modèles ouverts. Mixtral, DBRX, Grok-1, Arctic, Qwen, DeepSeek : chacun apporte sa variante, sa combinaison de compromis. Cette diversité est saine. Elle prouve que le Mixture-of-Experts n'est pas une recette unique, mais un espace de conception riche, où chaque équipe peut trouver la configuration qui correspond à ses contraintes et à ses objectifs.

L'idée de 1991 — diviser pour mieux régner, confier chaque tâche au spécialiste approprié — s'est révélée étonnamment féconde. Trente-trois ans plus tard, elle sous-tend les plus grands modèles de langage jamais construits. L'émerveillement reste intact : un réseau qui apprend à se diviser lui-même en spécialistes, sans qu'on lui dise lesquels, est une prouesse qui mérite d'être contemplée pour elle-même.

Sources

• Jacobs, Jordan, Nowlan & Hinton (1991), « Adaptive Mixtures of Local Experts », Neural Computation 3, 79-87.
• Shazeer et al. (2017), « Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer », ICLR 2017.
• Lepikhin et al. (2020), « GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding », ICLR 2021.
• Fedus, Zoph & Shazeer (2021), « Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity », JMLR 2022.
• Zhou et al. (2022), « Mixture-of-Experts with Expert Choice Routing », Google Research / NeurIPS 2022.
• Jiang et al. (2024), « Mixtral of Experts », arXiv 2401.04088.
• Mistral AI (2024), « Cheaper, Better, Faster, Stronger — Mixtral 8x22B », blog officiel.
• Databricks (2024), « Introducing DBRX: A New State-of-the-Art Open LLM », blog officiel.
• Dai et al. (2024), « DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models », ACL 2024.
• Qwen Team, Alibaba (2024), « Qwen1.5-MoE: Matching 7B Model Performance with 1/3 Activated Parameters », blog officiel.
• Bai et al. (2024), « Qwen2 Technical Report », arXiv 2407.10671.
• Snowflake (2024), « Snowflake Arctic: Open, Efficient Foundation Language Models », blog officiel.
• xAI (2024), « Grok-1 — open weights release », GitHub.