MuZero apprend à planifier sans connaître les règles du jeu

Le 23 décembre 2020, la revue Nature publie un travail qui referme une boucle commencée près de cinq ans plus tôt avec la victoire d'AlphaGo sur Lee Sedol. Son nom : MuZero. Signé par une équipe de DeepMind emmenée par Julian Schrittwieser, il répond à une question que les chercheurs en apprentissage par renforcement se posaient depuis longtemps : est-il possible d'atteindre un jeu de haut niveau, de planifier plusieurs coups à l'avance, sans qu'on ait jamais donné à la machine les règles du jeu ? Jusqu'ici, chaque programme de planification supposait un simulateur parfait — un moteur d'échecs connaissait les règles des échecs, un moteur de go connaissait celles du go. MuZero renverse ce postulat. Il apprend son propre modèle de la dynamique, en interne, et s'en sert pour planifier. Le résultat n'est pas une curiosité de laboratoire : il égale le niveau surhumain d'AlphaZero à trois jeux de plateau millénaires, tout en établissant un nouvel état de l'art sur cinquante-sept jeux Atari.

Dans cette chronique du « Paper du lundi », je vous propose de lire ce travail comme il mérite de l'être : non pas comme un exploit de plus dans la longue série des victoires de DeepMind au jeu, mais comme une bascule conceptuelle. Ce qui change avec MuZero, ce n'est pas le score final — c'est la nature de ce que le système apprend. Nous allons remonter la lignée qui va d'AlphaGo à MuZero, décortiquer les trois réseaux de neurones au cœur de l'algorithme, comprendre pourquoi « ne pas connaître les règles » est un progrès et non un handicap, et lire les résultats domaine par domaine. L'idée directrice tient en une phrase : quand une machine construit son propre modèle du monde au lieu qu'on le lui fournisse, elle devient applicable à des problèmes où personne ne connaît les règles exactes.

Un mot de méthode d'abord. Les articles de recherche de ce calibre se laissent souvent réduire à un titre accrocheur — ici « une IA qui apprend sans règles ». La formule est juste, mais elle escamote l'essentiel. Nous prendrons le temps de comprendre ce que MuZero apprend réellement, et pourquoi ce modèle appris est différent d'un simulateur classique. C'est dans cette nuance que se loge toute la portée du travail.

D'AlphaGo à MuZero : une trajectoire vers moins de connaissance

Pour saisir la place de MuZero, il faut se souvenir d'où vient la lignée. Depuis 2016, DeepMind poursuit un fil conducteur très net : construire des systèmes qui s'appuient sur de moins en moins de connaissance humaine préalable. Chaque étape retire une béquille.

Quatre étapes, quatre béquilles en moins

La progression se lit comme une soustraction méthodique :

• AlphaGo (2016) : le premier programme à battre un champion du monde de go. Il apprend à partir de parties humaines, s'appuie sur des connaissances propres au domaine et, bien sûr, sur les règles du jeu. C'est un exploit, mais un exploit richement outillé.
• AlphaGo Zero (2017) : la béquille des données humaines tombe. Le système apprend uniquement par auto-jeu, en partant de rien, sans jamais regarder une seule partie jouée par un humain. Il reste cantonné au go.
• AlphaZero (2017) : la généralité arrive. Un même algorithme maîtrise le go, les échecs et le shogi, toujours par auto-jeu pur. On lui donne seulement les règles de chaque jeu — rien d'autre.
• MuZero (2019-2020) : la dernière béquille tombe. Le système n'a plus besoin qu'on lui donne les règles. Il les apprend implicitement, dans un modèle interne, et s'en sert pour planifier.

Cette lecture en escalier est éclairante. À chaque marche, on retire à la machine une source de connaissance fournie de l'extérieur, et on lui demande de la reconstruire elle-même. AlphaGo Zero a retiré les données humaines ; AlphaZero a retiré la spécialisation à un seul jeu ; MuZero retire le modèle explicite de l'environnement. Ce qui reste est frappant de dépouillement : un agent qui, face à un environnement inconnu, se construit sa propre représentation, apprend à en anticiper l'évolution, et planifie à l'intérieur de cette représentation.

Il y a là une élégance philosophique autant que technique. Chaque béquille retirée élargit le champ d'application. Un système qui a besoin des règles ne peut jouer qu'aux jeux dont on connaît parfaitement les règles. Un système qui apprend son propre modèle peut, en principe, s'attaquer à tout environnement où l'on peut agir, observer et recevoir un signal de récompense — même si personne n'en connaît la mécanique exacte.

Depuis 2016, la ligne directrice de cette recherche tient en une idée : maîtriser des tâches avec de moins en moins de connaissance fournie — sans données humaines, sans connaissance du domaine, et désormais sans les règles.

Pourquoi les règles étaient un verrou

On pourrait croire que connaître les règles est toujours un avantage. Dans un jeu de plateau, c'est vrai : les règles du go ou des échecs sont simples à coder, parfaitement connues, et un moteur peut simuler n'importe quelle position à volonté. Mais la plupart des problèmes intéressants du monde réel ne se présentent pas ainsi.

Prenez la conduite d'un véhicule, la gestion d'un réseau électrique, l'optimisation d'un procédé industriel, ou même un jeu vidéo dont on ne dispose que de l'image à l'écran. Dans tous ces cas, il n'existe pas de « moteur de règles » simple et parfait qu'on pourrait interroger. La dynamique est complexe, partiellement observable, souvent inconnue dans le détail. Un algorithme de planification classique, qui exige un simulateur exact, se retrouve démuni. C'est précisément ce mur que MuZero cherche à franchir : apprendre juste ce qu'il faut de la dynamique pour bien planifier, sans jamais exiger qu'on la lui décrive.

Deux familles d'algorithmes, et le pont entre elles

Pour comprendre l'apport de MuZero, il faut connaître la vieille division qui traverse l'apprentissage par renforcement. Historiquement, deux grandes familles se font face, chacune avec ses forces et ses faiblesses.

Sans modèle : puissant mais aveugle à l'avenir

Les méthodes dites « sans modèle » (model-free) apprennent directement une politique — quoi faire dans chaque situation — ou une fonction de valeur — à quel point une situation est prometteuse — à partir de l'expérience accumulée. Elles ne cherchent pas à comprendre la mécanique de l'environnement ; elles se contentent d'associer des situations à des actions payantes. Ces méthodes brillent dans les domaines visuellement riches et mal définis, comme les jeux Atari, où l'agent ne voit que des pixels. Avant MuZero, le meilleur représentant de cette famille sur Atari s'appelait R2D2. Mais ces méthodes ont une limite : elles ne planifient pas. Incapables d'imaginer les conséquences de plusieurs coups à l'avance, elles réagissent plus qu'elles n'anticipent.

Avec modèle : clairvoyant mais fragile

À l'inverse, les méthodes « avec modèle » (model-based) disposent d'un modèle de l'environnement qui leur permet de simuler l'avenir et de planifier. C'est l'approche d'AlphaZero, qui utilise la recherche arborescente de Monte-Carlo pour explorer les futurs possibles avant de choisir un coup. Ces méthodes excellent là où la dynamique est connue et propre — les jeux de plateau. Mais elles achoppent dès que le modèle est difficile à obtenir ou imprécis. Construire un modèle fidèle d'un environnement visuellement complexe, à partir de pixels, s'est longtemps révélé décevant : les modèles appris accumulaient les erreurs et ruinaient la planification.

MuZero se présente comme un pont entre ces deux mondes. Il conserve la puissance de planification d'AlphaZero — la recherche arborescente — mais l'applique à un modèle appris, à la manière des approches sans modèle qui apprennent tout de l'expérience. C'est cette combinaison qui fait sa singularité : la clairvoyance de la planification, sans exiger qu'on fournisse le modèle.

L'idée-clé : apprendre un modèle utile, pas un modèle fidèle

Voici le cœur de l'article, et le point le plus subtil. Quand on parle de « modèle appris de l'environnement », l'intuition première est celle d'un simulateur : un système qui, à partir d'une situation et d'une action, prédit l'image ou l'état exact qui en résultera. Pendant longtemps, c'est ainsi qu'on a tenté de construire des modèles — en cherchant à reconstruire l'observation future dans ses moindres détails. Et cette voie a souvent déçu.

MuZero fait un choix radicalement différent, et c'est là son intuition maîtresse. Son modèle ne cherche pas à reconstruire l'image future ni l'état exact du monde. Il se concentre uniquement sur les trois quantités dont la planification a réellement besoin :

• la politique : quelle action est prometteuse dans cet état ;
• la fonction de valeur : combien de récompense on peut espérer à partir de cet état ;
• la récompense immédiate : ce que rapporte l'action que l'on vient de simuler.

Autrement dit, le modèle de MuZero n'a pas à savoir à quoi ressemblera l'écran dans dix coups. Il lui suffit de prédire correctement, pour chaque futur simulé, la valeur, la politique et la récompense. Tout ce qui n'affecte pas ces trois quantités peut être ignoré sans dommage. C'est une forme d'économie cognitive : on ne modélise que ce qui compte pour décider.

Cette bascule mérite qu'on s'y arrête, car elle explique pourquoi MuZero réussit là où les modèles antérieurs échouaient. Un modèle qui tente de reconstruire toute l'image future gaspille sa capacité à prédire une foule de détails sans importance pour l'action — la couleur d'un pixel de décor, le mouvement d'un élément secondaire. Un modèle qui se concentre sur valeur, politique et récompense concentre toute sa puissance sur ce qui guide réellement la décision. Le modèle de MuZero est donc « utile » plutôt que « fidèle » — et c'est précisément ce qui le rend robuste.

Le modèle appris par MuZero ne prédit pas à quoi ressemblera le monde, mais ce qui, dans ce monde, aidera à décider : la valeur, la politique et la récompense.

On peut résumer la philosophie ainsi : au lieu de demander à la machine « dis-moi ce qui va se passer », on lui demande « dis-moi ce que je dois savoir pour bien jouer ». La seconde question est plus modeste, mais elle est infiniment plus facile à apprendre — et parfaitement suffisante pour planifier.

Trois réseaux de neurones : représentation, dynamique, prédiction

Concrètement, comment cette idée se traduit-elle en architecture ? MuZero repose sur trois réseaux de neurones qui travaillent de concert. Chacun a un rôle précis, et l'ensemble forme une petite machine à imaginer.

La fonction de représentation : de l'observation à l'état caché

Le premier réseau, la fonction de représentation, prend les observations brutes — par exemple les images d'un jeu Atari, ou la configuration d'un plateau — et les transforme en un état caché. Cet état caché est un vecteur interne, une représentation compacte de la situation. Point crucial : cet état n'a pas à correspondre à quoi que ce soit d'interprétable par un humain. Il n'est pas censé « ressembler » à l'écran ou décrire l'état réel du jeu. Sa seule vocation est d'être un point de départ utile pour la planification interne. C'est un espace de travail que le réseau se façonne pour lui-même.

La fonction de dynamique : imaginer le coup suivant

Le deuxième réseau, la fonction de dynamique, est le cœur battant du système. Il prend un état caché et une action envisagée, et produit deux choses : le prochain état caché et la récompense associée à cette transition. C'est ce réseau qui permet à MuZero de « rêver » des futurs : en l'appliquant de façon répétée, l'agent enchaîne les états cachés imaginés, un coup après l'autre, sans jamais toucher à l'environnement réel. Il déroule mentalement une suite d'actions et anticipe leurs conséquences — mais entièrement dans son espace interne d'états cachés.

C'est ici que réside la rupture avec les approches classiques. La fonction de dynamique n'est pas un simulateur des règles du jeu ; c'est un réseau appris qui a découvert, par l'entraînement, comment enchaîner les états cachés pour que les prédictions restent cohérentes. Personne ne lui a dit qu'un pion avance d'une case ou qu'une pierre capture ses voisines. Elle a construit une dynamique interne qui produit les bonnes valeurs et récompenses — ce qui suffit amplement.

La fonction de prédiction : évaluer chaque futur imaginé

Le troisième réseau, la fonction de prédiction, prend un état caché — réel ou imaginé — et produit la politique et la valeur associées : quelles actions semblent prometteuses depuis cet état, et à quel point cet état est favorable. C'est elle qui donne son sens aux futurs déroulés par la fonction de dynamique. Sans elle, imaginer des suites d'états ne servirait à rien ; c'est la prédiction qui transforme ces futurs imaginés en évaluations exploitables par la recherche.

L'articulation des trois est limpide une fois qu'on la visualise. La représentation crée le point de départ à partir de l'observation réelle. La dynamique déroule des futurs imaginés, coup par coup. La prédiction évalue chacun de ces futurs. Ensemble, ils forment un modèle mental que l'agent interroge autant qu'il le souhaite, sans jamais avoir à agir dans le monde réel pour explorer.

La recherche arborescente sur un modèle imaginé

Une fois ces trois réseaux en place, MuZero réutilise la mécanique éprouvée d'AlphaZero : la recherche arborescente de Monte-Carlo (MCTS). Mais avec une différence essentielle qui change tout.

Dans AlphaZero, la recherche s'appuie sur un simulateur exact : à chaque nœud de l'arbre, on connaît l'état réel du jeu et on applique les vraies règles pour engendrer les positions suivantes. Dans MuZero, il n'y a pas de simulateur exact. À la place, la recherche se déroule entièrement sur le modèle appris : chaque branche de l'arbre correspond à un futur imaginé par la fonction de dynamique, évalué par la fonction de prédiction. L'agent explore ainsi un arbre de possibilités qui n'existe que dans son espace d'états cachés.

Le processus, à chaque coup à jouer, ressemble à ceci :

• L'observation réelle est encodée en un état caché initial par la fonction de représentation ;
• La recherche déroule des séquences d'actions imaginées, en enchaînant les appels à la fonction de dynamique pour obtenir les états cachés successifs et leurs récompenses ;
• Chaque état imaginé est évalué par la fonction de prédiction, qui fournit valeur et politique ;
• Ces évaluations remontent dans l'arbre pour guider l'exploration vers les branches les plus prometteuses ;
• Au terme de la recherche, l'action réellement jouée est celle que l'arbre a le plus visitée.

Ce qui est remarquable, c'est que toute cette planification se fait sans jamais interagir avec l'environnement. L'agent n'a pas besoin d'« essayer » un coup dans le monde réel pour en connaître les conséquences : il les imagine dans son modèle. Là où une méthode sans modèle ne pourrait que réagir à l'instant présent, MuZero anticipe plusieurs coups à l'avance, entièrement dans sa tête.

Un entraînement qui aligne l'imagination sur le réel

Reste la question qui fâche : comment s'assurer que ce modèle imaginé ne raconte pas n'importe quoi ? La réponse tient à la manière dont les trois réseaux sont entraînés conjointement. Pendant l'apprentissage, MuZero déroule son modèle sur plusieurs pas et compare ses prédictions à ce qui se produit réellement dans les parties jouées. Les trois cibles servent de garde-fous :

• la politique prédite est alignée sur la politique améliorée que produit la recherche arborescente ;
• la valeur prédite est alignée sur le résultat effectivement observé (l'issue de la partie, ou la récompense cumulée) ;
• la récompense prédite est alignée sur la récompense réellement reçue.

Ainsi, même si les états cachés n'ont aucune signification lisible, ils sont contraints, coup après coup, à produire des prédictions justes. Le modèle est libre dans sa forme interne, mais rigoureusement discipliné dans ses sorties. C'est cette discipline qui empêche l'imagination de dériver : un modèle qui prédirait de mauvaises valeurs serait corrigé par l'entraînement jusqu'à ce que ses futurs imaginés collent à la réalité des parties.

Les résultats : deux mondes, un seul algorithme

Passons aux chiffres, car ils sont la partie la plus parlante de l'article. MuZero est évalué sur deux terrains très différents, ce qui constitue une part de son intérêt : un même algorithme, sans réglage propre à chaque domaine, affronte à la fois des jeux de plateau parfaitement définis et des jeux vidéo visuellement complexes.

Go, échecs, shogi : égaler AlphaZero sans les règles

Sur les trois jeux de plateau — go, échecs et shogi — MuZero atteint le niveau surhumain d'AlphaZero. C'est le résultat le plus spectaculaire sur le plan conceptuel : MuZero égale un système qui, lui, disposait des règles complètes, alors que MuZero, lui, ne les connaît pas. Il a dû apprendre par lui-même une dynamique interne suffisamment fidèle pour planifier aussi bien qu'un moteur qui connaît la mécanique exacte du jeu.

Au go en particulier, MuZero dépasse même légèrement le niveau d'AlphaZero, alors qu'il utilise environ 20 % de calcul en moins par nœud de recherche, selon les auteurs. Ce détail est significatif : non seulement se passer des règles ne coûte rien en performance, mais le modèle appris peut même se révéler très légèrement plus efficace avec moins de ressources, sans doute parce qu'il capture exactement ce dont la planification a besoin, ni plus ni moins.

Atari : un nouvel état de l'art sur 57 jeux

Sur le terrain Atari, MuZero établit un nouvel état de l'art. Évalué sur les cinquante-sept jeux de l'Arcade Learning Environment — le banc d'essai de référence pour l'apprentissage par renforcement à partir de pixels — il obtient les meilleurs scores moyen et médian normalisés jamais publiés. Il surpasse le précédent champion, R2D2, une méthode sans modèle, sur quarante-deux des cinquante-sept jeux.

Ce résultat est important pour une raison précise. Atari est historiquement le domaine des méthodes sans modèle, car construire un modèle fidèle à partir de pixels s'était toujours révélé décevant. Que MuZero, une méthode avec modèle, y dépasse la meilleure méthode sans modèle, c'est la démonstration éclatante que planifier sur un modèle appris fonctionne enfin dans un environnement visuellement riche. La vieille frontière entre les deux familles vacille.

Un même algorithme, sans le moindre ajustement propre au domaine, égale le niveau surhumain d'AlphaZero aux échecs, au shogi et au go, et bat le meilleur système sans modèle sur les jeux Atari.

Ce que les deux terrains démontrent ensemble

Le choix de ces deux terrains n'est pas anodin. Les jeux de plateau prouvent que MuZero rivalise avec le meilleur système à modèle exact, sans en avoir le modèle. Les jeux Atari prouvent qu'il surpasse le meilleur système sans modèle, sur son propre terrain. La conjonction des deux dessine un algorithme véritablement généraliste : il n'excelle pas à une seule catégorie de problème, mais couvre les deux régimes que se partageaient jusque-là deux familles distinctes. C'est cette généralité — un seul système, deux mondes — qui fait la force du travail.

Une efficacité en données remarquable

Au-delà des scores, l'article met en lumière un atout moins visible mais lourd de conséquences : l'efficacité d'apprentissage. Parce que MuZero peut planifier dans son modèle interne, il tire davantage de chaque interaction avec l'environnement. Il ne se contente pas d'apprendre de ce qu'il vit ; il approfondit chaque expérience en la rejouant mentalement, en explorant les futurs qu'elle ouvre.

Cette propriété a une portée pratique évidente. Dans les jeux de plateau, l'expérience est abondante — on peut jouer autant de parties d'auto-jeu que le calcul le permet. Mais dans le monde réel, l'expérience coûte cher : chaque essai d'un procédé industriel, chaque manœuvre d'un système physique a un prix et prend du temps. Un agent qui apprend beaucoup de peu d'interactions est bien plus applicable qu'un agent gourmand en essais. En construisant un modèle qu'il peut interroger à volonté, MuZero transforme une poignée d'expériences réelles en une multitude d'expériences imaginées — et c'est là que se dessine sa promesse au-delà du jeu.

Pourquoi ce travail compte au-delà des jeux

On pourrait se demander pourquoi consacrer tant d'attention à un système qui, après tout, joue à des jeux. La réponse tient au fait que les jeux ne sont ici qu'un banc d'essai. Ce que MuZero démontre, c'est un principe transposable : un agent peut planifier efficacement dans un environnement dont il ignore les règles, à condition d'apprendre un modèle centré sur ce qui compte pour décider.

Or, la plupart des problèmes qui comptent dans le monde ressemblent davantage à Atari qu'aux échecs : leur dynamique est complexe, partiellement observable, jamais parfaitement connue. Optimiser la consommation d'énergie d'un bâtiment, planifier une chaîne logistique, régler finement un procédé industriel, ajuster des paramètres de traitement en fonction d'un retour observé — dans tous ces cas, il n'existe pas de simulateur parfait qu'on pourrait interroger. Un algorithme capable d'apprendre lui-même juste ce qu'il faut de la dynamique pour bien planifier ouvre, en principe, un champ d'application bien plus large que les seuls jeux de plateau.

C'est en cela que MuZero se distingue d'une simple victoire de plus au jeu. AlphaGo avait démontré qu'une machine pouvait battre un champion. AlphaZero avait démontré qu'un même algorithme pouvait le faire à plusieurs jeux, à partir des seules règles. MuZero franchit un cap supplémentaire : il n'a plus besoin des règles. Et ce sont précisément les règles qui, jusqu'ici, cantonnaient ces méthodes aux mondes parfaitement définis. En s'en affranchissant, MuZero se donne les moyens de sortir un jour du plateau de jeu.

Une pièce dans un programme de recherche cohérent

Il faut aussi lire MuZero comme l'aboutissement provisoire d'un programme cohérent, et non comme un éclair isolé. Chaque système de la lignée a préparé le suivant : les techniques d'auto-jeu d'AlphaGo Zero, la généralité d'AlphaZero, la recherche arborescente commune à tous. MuZero hérite de cet outillage et y ajoute la brique manquante — le modèle appris. Cette continuité est rassurante sur le plan scientifique : elle montre qu'on progresse ici par accumulation méthodique plutôt que par coups de chance. Chaque publication isole une idée, la valide, et la lègue à la suivante.

Ce que MuZero ne prétend pas résoudre

La rigueur impose de rappeler les limites, car un bon article de recherche est aussi honnête sur ce qu'il ne fait pas. MuZero est évalué sur des jeux ; le passage à des applications réelles reste, à ce stade, une promesse à démontrer plutôt qu'un fait acquis. Les environnements testés, aussi complexes soient-ils visuellement, demeurent des simulations bien contrôlées, avec des récompenses claires et une interaction sans coût matériel.

Par ailleurs, MuZero, dans cette version, s'adresse à des environnements essentiellement déterministes ou à faible aléa. Les environnements fortement stochastiques — où le hasard joue un rôle majeur — posent des difficultés supplémentaires qui appelleront des travaux ultérieurs. Enfin, l'entraînement reste coûteux en calcul : atteindre ces niveaux de performance demande des ressources considérables, hors de portée d'un laboratoire modeste. Ces réserves ne diminuent pas la portée du résultat ; elles en tracent le périmètre honnête. MuZero ouvre une voie ; il ne prétend pas l'avoir déjà parcourue jusqu'au bout.

Ce qu'il faut retenir

Récapitulons l'essentiel de ce « Paper du lundi ». MuZero apprend son propre modèle de l'environnement au lieu qu'on le lui fournisse, et s'en sert pour planifier par recherche arborescente. La finesse de l'approche tient à ce que ce modèle ne cherche pas à reconstruire le monde, mais à prédire les trois seules quantités utiles à la décision : politique, valeur et récompense. Trois réseaux — représentation, dynamique, prédiction — orchestrent cette imagination disciplinée.

Les résultats confirment la promesse : niveau surhumain aux échecs, au shogi et au go sans en connaître les règles, et nouvel état de l'art sur cinquante-sept jeux Atari, terrain historique des méthodes sans modèle. Un même algorithme couvre ainsi deux régimes autrefois séparés. Et surtout, en se passant des règles, MuZero se libère du carcan qui réservait la planification aux mondes parfaitement définis.

Pour qui suit la recherche en apprentissage par renforcement, la leçon est claire. Le progrès, ici, ne se mesure pas à un score plus élevé, mais à une contrainte levée. Chaque béquille retirée depuis 2016 — les données humaines, la spécialisation, et maintenant les règles — élargit le domaine du possible. MuZero est la marche la plus haute atteinte à ce jour sur cet escalier. La question qui s'ouvre désormais est celle du passage à l'échelle du réel : un modèle appris peut-il tenir ses promesses hors du plateau de jeu ? C'est le prochain chapitre — et l'un des plus prometteurs de la discipline.

Avec le recul (depuis 2026)

Cet article a été écrit au moment de la publication de MuZero dans Nature, fin 2020. Avec le recul, la promesse d'un passage vers le monde réel a commencé à se concrétiser dès février 2022, lorsque DeepMind a annoncé une première application de MuZero à une tâche concrète : l'optimisation de la compression vidéo. En collaboration avec YouTube, une variante de l'algorithme a remplacé le mécanisme de contrôle de débit du codec libre VP9, réduisant en moyenne le débit d'environ 4 % à qualité d'image constante, sur un ensemble varié de vidéos. Ce fut la première démonstration que le principe — planifier sur un modèle appris d'un environnement dont on ne connaît pas les règles exactes — pouvait quitter le banc d'essai des jeux pour un système déployé à grande échelle. Les travaux ultérieurs sur les environnements stochastiques et l'efficacité en données ont, depuis, prolongé cette lignée, confirmant la fécondité de l'intuition de 2020.

Sources

Cette chronique s'appuie sur des sources publiques et vérifiables :

• J. Schrittwieser et al., « Mastering Atari, Go, chess and shogi by planning with a learned model » — Nature, vol. 588 (23 décembre 2020) (article de référence : architecture, résultats, benchmarks).
• J. Schrittwieser et al., préprint — arXiv 1911.08265 (version détaillée : fonctions de représentation, de dynamique et de prédiction, MCTS sur modèle appris).
• Google DeepMind, « MuZero: Mastering Go, chess, shogi and Atari without rules » — blog officiel DeepMind (présentation de la lignée AlphaGo → AlphaZero → MuZero et résultats vulgarisés).
• Google DeepMind, « AlphaZero and MuZero » — page de recherche DeepMind (chronologie 2016-2020, moins de connaissance à chaque étape).
• Google DeepMind, « MuZero's first step from research into the real world » — blog DeepMind (février 2022) (application à la compression vidéo VP9 sur YouTube, section « Avec le recul »).
• « MuZero » — Wikipedia (synthèse encyclopédique : dates, comparaison R2D2, historique).