Apprentissage par renforcement : comment l'IA apprend par essais et récompenses

En mars 2016, à Séoul, un logiciel nommé AlphaGo affrontait Lee Sedol, l'un des meilleurs joueurs de go de l'histoire, dans un jeu réputé trop vaste et trop intuitif pour être dompté par une machine. AlphaGo l'a emporté quatre parties à une. Ce qui frappe, avec le recul, ce n'est pas seulement le résultat : c'est la méthode. Le programme n'avait pas appris le go en mémorisant des règles écrites par des experts. Il avait appris en jouant contre lui-même, des millions de fois, en étant récompensé quand il gagnait et pénalisé quand il perdait. Cette méthode a un nom : l'apprentissage par renforcement, souvent abrégé RL pour « reinforcement learning ».

L'apprentissage par renforcement n'est ni l'apprentissage supervisé, où l'on montre à un modèle des milliers d'exemples déjà étiquetés, ni l'apprentissage non supervisé, où l'on cherche des structures cachées dans des données brutes. C'est une troisième famille, plus proche de la façon dont un être vivant apprend à faire du vélo ou à jouer d'un instrument : par essais, par erreurs, et par une évaluation progressive de ce qui fonctionne. Un agent agit dans un environnement, observe les conséquences de ses actions, reçoit un signal de récompense, et ajuste son comportement pour maximiser ce signal sur la durée. Personne ne lui dit jamais quel est le bon geste : il le déduit de la seule trace laissée par ses succès et ses échecs.

Cette idée, qui semble presque simple énoncée ainsi, a mis des décennies à mûrir. Elle a d'abord fait ses preuves sur un jeu de société avant l'ère du deep learning, puis elle a rencontré les réseaux de neurones profonds et changé d'échelle : jeux vidéo, robotique, pilotage de réacteurs expérimentaux, et plus récemment l'alignement des grands modèles de langage. Cet article retrace ce parcours, explique la mécanique de base sans détour mathématique inutile, et fait le point sur ce que l'apprentissage par renforcement permet aujourd'hui — et sur ce qu'il ne sait pas encore bien faire.

Les principes fondamentaux : agent, environnement, récompense

Pour comprendre l'apprentissage par renforcement, il faut d'abord se représenter la scène qu'il met en jeu. Il y a un agent — le programme qui apprend — et un environnement dans lequel il évolue : un plateau de go, un niveau de jeu vidéo, une pièce où se trouve un bras robotique, ou même le texte d'une conversation. À chaque instant, l'agent observe un état de cet environnement, choisit une action parmi celles qui lui sont disponibles, et reçoit en retour deux choses : un nouvel état, et une récompense, un simple nombre qui indique si cette action rapproche ou éloigne l'agent de son objectif.

La boucle se répète, encore et encore. L'agent ne reçoit jamais d'instruction directe du type « fais ceci » : il découvre par lui-même quelles séquences d'actions produisent les meilleures récompenses cumulées dans le temps. C'est cette dimension temporelle qui distingue le renforcement d'un simple problème de classification. Une action isolée peut sembler mauvaise dans l'instant — sacrifier une pièce aux échecs, par exemple — tout en se révélant excellente sur le long terme. L'agent doit donc apprendre à raisonner non pas sur la récompense immédiate, mais sur la récompense cumulée espérée, ce que la discipline appelle le retour, ou « return ».

Le cadre formel : le processus de décision markovien

Sous ces mots simples se cache un cadre mathématique précis, hérité de la théorie de la décision : le processus de décision markovien (Markov Decision Process, ou MDP). Un MDP décrit un monde par un ensemble d'états possibles, un ensemble d'actions disponibles, une règle qui indique comment l'environnement passe d'un état à un autre en réponse à une action, et une fonction de récompense. Sa propriété centrale, dite « markovienne », tient en une phrase : l'avenir ne dépend que de l'état présent, pas de tout le chemin parcouru pour y arriver. Cette hypothèse, formalisée dès les années 1950 avec les travaux de Richard Bellman sur la programmation dynamique, est ce qui rend le problème calculable. Sans elle, l'agent devrait garder en mémoire l'intégralité de son histoire à chaque décision ; avec elle, il lui suffit de savoir où il se trouve.

Deux réglages gouvernent ensuite tout apprentissage par renforcement. Le premier est le facteur d'actualisation (noté gamma), un nombre compris entre 0 et 1 qui pondère l'importance accordée aux récompenses futures par rapport aux récompenses immédiates. Un gamma proche de 0 produit un agent myope, qui ne vise que le gain instantané ; un gamma proche de 1 produit un agent patient, capable de sacrifier un avantage immédiat pour un bénéfice différé. Le second est le problème d'attribution du mérite (credit assignment) : lorsqu'une partie de go se solde par une victoire au bout de deux cents coups, comment savoir lesquels de ces coups méritent réellement le crédit du succès, et lesquels étaient neutres ou même mauvais ? Résoudre cette énigme — répartir correctement une récompense tardive sur la longue chaîne de décisions qui l'a précédée — est le cœur technique de toute la discipline.

Politique, valeur et fonction de récompense

Trois notions structurent l'essentiel des méthodes de renforcement :

• La politique (policy) : la stratégie de l'agent, c'est-à-dire la règle qui détermine quelle action prendre dans chaque état. Elle peut être déterministe ou probabiliste.
• La fonction de valeur (value function) : une estimation de la récompense cumulée qu'un agent peut espérer obtenir à partir d'un état donné, en suivant sa politique actuelle. Elle sert de boussole pour comparer les états entre eux.
• La fonction de récompense (reward function) : le signal, souvent conçu par les concepteurs du système, qui définit ce que « bien faire » signifie concrètement. Un simple +1 pour une victoire, -1 pour une défaite, ou un signal plus riche et graduel selon les cas.

Deux grandes familles d'algorithmes se sont développées autour de ces notions. Les méthodes dites « à base de valeur » — dont le Q-learning est l'exemple le plus connu — apprennent à estimer la valeur de chaque action possible dans chaque état, puis choisissent simplement la meilleure. Les méthodes dites « à base de politique » ajustent directement les paramètres de la stratégie pour augmenter la probabilité des actions qui ont bien fonctionné par le passé. Les approches les plus utilisées aujourd'hui, comme la méthode PPO (Proximal Policy Optimization), combinent en réalité les deux logiques : elles font appel à la fois à une estimation de valeur et à une politique optimisée directement, dans ce qu'on appelle une architecture acteur-critique.

Une autre distinction, plus discrète mais importante, sépare les agents qui construisent un modèle de leur environnement — une représentation interne des règles, qui leur permet de « simuler mentalement » les conséquences d'une action avant de la tenter — de ceux qui apprennent « sans modèle » (model-free), directement à partir de l'expérience brute, sans jamais chercher à comprendre les lois de leur monde. DQN, dont il sera question plus loin, est un agent sans modèle ; AlphaGo, qui explore explicitement des suites de coups avant de jouer, s'appuie au contraire sur un modèle du jeu. Aucune des deux approches n'est universellement supérieure : les méthodes sans modèle sont plus simples et plus générales, celles avec modèle sont souvent plus économes en essais lorsqu'un bon modèle est disponible.

Le dilemme exploration-exploitation

Un agent de renforcement fait face en permanence à un arbitrage classique : doit-il exploiter la meilleure stratégie qu'il connaît déjà, ou explorer de nouvelles actions dont il ignore encore la valeur, au risque de perdre des points dans l'immédiat mais avec la possibilité de découvrir une meilleure stratégie ? Un agent qui n'explore jamais reste bloqué sur la première solution correcte qu'il a trouvée, même si elle est loin d'être optimale. Un agent qui explore sans cesse n'exploite jamais ce qu'il a appris et progresse trop lentement. La plupart des algorithmes de renforcement intègrent un mécanisme pour doser cet équilibre — la stratégie dite « epsilon-greedy », par exemple, consiste à jouer le plus souvent le meilleur coup connu tout en réservant une petite fraction des décisions à une action tirée au hasard. En pratique, on explore beaucoup au début de l'entraînement, puis on resserre progressivement le comportement autour des stratégies qui fonctionnent.

Un agent de renforcement n'apprend jamais ce qu'il faut faire : il découvre, par la seule pression de la récompense, ce qui fonctionne — et c'est précisément cette absence de supervision directe qui rend la méthode si générale.

On mesure mieux la singularité du renforcement en le replaçant face aux deux autres grandes familles d'apprentissage automatique. Le tableau suivant résume ce qui les sépare.

Paradigme	Donnée fournie	Ce que le modèle apprend	Exemple typique
Supervisé	Exemples déjà étiquetés (entrée → bonne réponse)	À reproduire l'étiquette correcte	Reconnaître un chat sur une photo
Non supervisé	Données brutes, sans étiquette	À révéler une structure cachée	Regrouper des clients par comportement
Par renforcement	Un signal de récompense différé	À découvrir une stratégie qui maximise le retour	Gagner une partie de go

Une histoire de plusieurs décennies : de TD-Gammon à AlphaGo

L'apprentissage par renforcement n'est pas né avec le deep learning. Ses fondements théoriques remontent bien avant la mode actuelle, et l'histoire est utile parce qu'elle rappelle une chose : les idées essentielles étaient là depuis longtemps, et c'est surtout la puissance de calcul qui leur a permis de s'exprimer.

Des racines plus anciennes qu'on ne le croit

Dès 1959, l'ingénieur d'IBM Arthur Samuel écrit un programme de jeu de dames qui s'améliore en jouant contre lui-même — c'est à cette occasion qu'il popularise l'expression « machine learning ». Son programme contenait déjà, en germe, l'idée d'évaluer une position par la récompense future qu'elle promet. Trente ans plus tard, deux contributions théoriques posent les bases modernes de la discipline : en 1988, Richard Sutton formalise l'apprentissage par différence temporelle (« Learning to Predict by the Methods of Temporal Differences »), qui apprend à corriger ses propres prédictions au fur et à mesure plutôt qu'à attendre le résultat final ; en 1989, dans sa thèse de doctorat, Christopher Watkins introduit le Q-learning, l'algorithme qui donnera plus tard son cœur à DQN. Le manuel de référence que Sutton co-signera avec Andrew Barto, Reinforcement Learning: An Introduction, reste à ce jour le texte fondateur de tout le domaine. Ces travaux n'avaient rien de spectaculaire pour le grand public — mais sans eux, aucune des prouesses des années 2010 n'aurait été possible.

TD-Gammon, la preuve de concept oubliée

En 1992, le chercheur Gerald Tesauro, alors au centre de recherche Thomas J. Watson d'IBM, publie les résultats de TD-Gammon, un programme de backgammon entraîné par une variante d'apprentissage par différence temporelle appelée TD(λ). Contrairement à son prédécesseur Neurogammon, qui apprenait par supervision à partir de parties d'experts humains, TD-Gammon apprend uniquement en jouant contre lui-même, des centaines de milliers puis des millions de parties. La version 2.1, entraînée sur environ 1,5 million de parties d'autoapprentissage, atteint un niveau tout proche des meilleurs joueurs humains de l'époque — et découvre même des stratégies d'ouverture que les experts humains n'avaient pas envisagées, influençant en retour la théorie du jeu chez les joueurs professionnels.

TD-Gammon reste, encore aujourd'hui, cité comme la première démonstration convaincante qu'un système d'autoapprentissage par renforcement pouvait atteindre un niveau de jeu de très haut niveau sans connaissance experte injectée à la main. Son influence a dépassé le cadre du jeu : les principes qu'il a mis en lumière ont ensuite inspiré des applications dans la répartition d'ascenseurs, l'ordonnancement industriel, l'attribution de canaux de téléphonie mobile ou la gestion de portefeuilles financiers. Mais pendant plus de vingt ans, la méthode reste relativement marginale en dehors de cercles de recherche spécialisés, faute de la puissance de calcul et des architectures de réseaux de neurones capables de la faire changer d'échelle. Le backgammon, avec sa part de hasard qui lissait naturellement l'apprentissage, était en un sens un cas favorable ; on ignorait encore si la recette tiendrait sur des jeux plus durs.

Le tournant du deep learning : DQN et les jeux Atari

Le déclic survient au milieu des années 2010. Une équipe de DeepMind menée par Volodymyr Mnih et David Silver présente d'abord ses travaux lors d'un atelier en 2013, puis publie en 2015 dans la revue Nature un article intitulé « Human-level control through deep reinforcement learning ». Leur système, baptisé DQN (Deep Q-Network), combine pour la première fois à grande échelle deux ingrédients : l'algorithme classique du Q-learning et un réseau de neurones profond capable de traiter directement des images de jeu, pixel par pixel.

Deux astuces techniques rendent cette combinaison stable, là où des tentatives antérieures divergeaient. La première, la rejouabilité de l'expérience (experience replay), consiste à stocker les transitions vécues dans une mémoire et à les rejouer dans un ordre aléatoire pendant l'apprentissage, ce qui casse les corrélations trompeuses entre décisions consécutives. La seconde, le réseau cible (target network), fige temporairement une copie du réseau pour servir de repère stable, évitant que l'agent ne « coure après sa propre ombre » en modifiant sa cible à chaque pas. Grâce à elles, le même réseau, avec la même architecture et sans aucun réglage spécifique à chaque jeu, apprend à jouer à 49 jeux différents de la console Atari 2600, uniquement à partir des pixels affichés à l'écran et du score. Sur une majorité de ces jeux, DQN atteint ou dépasse le niveau d'un joueur humain expérimenté. C'est la première fois qu'un agent de renforcement démontre une telle capacité de généralisation sur un éventail aussi large de tâches, sans connaissance préalable des règles de chaque jeu. Cette publication marque le vrai point de départ du deep reinforcement learning tel qu'on le connaît aujourd'hui.

AlphaGo : le go, dernier bastion tombé

Le go était, jusqu'en 2016, considéré comme hors de portée des ordinateurs pour au moins une décennie encore. Le nombre de configurations possibles sur un plateau 19x19 dépasse le nombre d'atomes observables dans l'univers, et contrairement aux échecs, l'évaluation d'une position au go tient beaucoup à l'intuition, difficile à formaliser par des règles explicites. C'est précisément ce qui rendait la victoire d'AlphaGo si marquante.

Dans leur article publié dans Nature en janvier 2016 (« Mastering the Game of Go with Deep Neural Networks and Tree Search »), David Silver et son équipe de DeepMind décrivent une architecture combinant deux réseaux de neurones — un réseau de politique, qui propose les coups les plus prometteurs, et un réseau de valeur, qui évalue la position résultante — avec une recherche arborescente Monte-Carlo qui explore les suites de coups possibles. Les réseaux sont d'abord entraînés par apprentissage supervisé sur des parties de joueurs humains experts, puis affinés par apprentissage par renforcement grâce à des millions de parties jouées par le système contre lui-même. AlphaGo bat d'abord le champion d'Europe Fan Hui cinq parties à zéro, puis, en mars 2016 à Séoul, le champion du monde Lee Sedol, quatre parties à une, devant une audience mondiale.

Un instant est resté emblématique : le fameux coup 37 de la deuxième partie. AlphaGo pose une pierre sur la cinquième ligne, un placement si peu orthodoxe que le commentateur Michael Redmond, joueur professionnel 9e dan, resta d'abord incrédule, et que Lee Sedol quitta brièvement la salle avant de réfléchir un quart d'heure. Les analystes ont estimé qu'un humain n'aurait joué ce coup qu'avec une probabilité d'environ une sur dix mille. Ce n'est que bien plus tard dans la partie que sa portée stratégique est apparue. Le coup 37 est devenu le symbole d'une idée dérangeante et féconde : un agent entraîné par la seule récompense peut inventer des stratégies que des siècles de pratique humaine n'avaient pas explorées.

La suite de cette lignée confirme que l'autoapprentissage pur peut aller encore plus loin. En 2017, AlphaGo Zero atteint un niveau supérieur à toutes les versions précédentes sans utiliser la moindre partie humaine comme point de départ : il apprend uniquement en jouant contre lui-même, à partir des seules règles du jeu. La même année, une version dérivée, AlphaGo Master, bat 3 à 0 le numéro un mondial Ke Jie lors d'un tournoi en Chine. Puis AlphaZero généralise l'approche à un algorithme unique, capable de maîtriser le go, les échecs et le shōgi avec la même méthode d'autoapprentissage, sans réglage spécifique à chaque jeu. Ce glissement — du renforcement assisté par des données humaines vers un renforcement entièrement autonome — deviendra l'une des lignes de force de toute la discipline dans les années suivantes.

Année	Système	Domaine	Fait marquant
1959	Programme de dames de Samuel	Jeu de dames	Autoapprentissage ; naissance de l'expression « machine learning »
1992	TD-Gammon (IBM)	Backgammon	Niveau quasi expert par autoapprentissage, sans données humaines
2015	DQN (DeepMind)	49 jeux Atari	Une seule architecture, apprentissage à partir des pixels
2016	AlphaGo (DeepMind)	Go	Victoire 4-1 sur Lee Sedol, une décennie avant les pronostics
2017	AlphaGo Zero / AlphaZero	Go, échecs, shōgi	Autoapprentissage pur, sans aucune partie humaine
2019	OpenAI Five, AlphaStar	Dota 2, StarCraft II	Information partielle, coordination, horizons longs
2022	GT Sophy (Sony AI)	Course automobile simulée	Premier agent à battre les meilleurs pilotes de Gran Turismo
2024	o1 (OpenAI)	Raisonnement	Renforcement appliqué à la chaîne de raisonnement d'un LLM

Le jeu vidéo, terrain d'entraînement de prédilection

Les jeux occupent une place particulière dans l'histoire du renforcement, et ce n'est pas un hasard. Un jeu offre un environnement contrôlé, un signal de récompense clair — le score, la victoire ou la défaite — et la possibilité de générer des millions de parties simulées à grande vitesse, sans risque ni coût matériel. C'est un terrain d'essai idéal avant d'affronter la complexité et la lenteur du monde réel.

Pourquoi les jeux sont un terrain idéal

Trois propriétés rendent les jeux particulièrement adaptés à l'entraînement par renforcement. D'abord, la répétabilité : un environnement de jeu peut être réinitialisé à l'infini, ce qui permet à un agent de vivre l'équivalent de plusieurs vies humaines de pratique en quelques heures de calcul. Ensuite, la clarté du signal : contrairement à beaucoup de tâches du monde réel, un jeu fournit presque toujours un critère de succès non ambigu — le score augmente, la partie est gagnée ou perdue. Enfin, la vérifiabilité : il est facile de comparer objectivement les performances de deux agents, ou d'un agent face à un humain, ce qui permet de mesurer les progrès sans ambiguïté.

Cette combinaison explique pourquoi les laboratoires de recherche ont choisi les jeux comme principal terrain de démonstration, des jeux Atari des années 1980 jusqu'aux jeux de stratégie en temps réel les plus complexes.

Des Atari à Dota 2 : la montée en complexité

Après les jeux Atari et le go, les chercheurs se sont attaqués à des environnements toujours plus ouverts, où l'espace des actions possibles et la durée d'une partie rendent l'apprentissage beaucoup plus difficile. En avril 2019, OpenAI Five, un ensemble d'agents entraînés par renforcement pour jouer au jeu de stratégie en équipe Dota 2, bat OG, l'équipe alors championne du monde, lors d'une série de parties publiques. Les chiffres donnent la mesure de l'effort : l'entraînement, mené avec une version massivement parallélisée de l'algorithme PPO, a mobilisé environ 256 processeurs graphiques et 128 000 cœurs de calcul, et le système a accumulé l'équivalent d'environ 45 000 années de jeu en autoapprentissage. Lors d'une démonstration en ligne ouverte au public, OpenAI Five a remporté ses parties contre plus de 99 % des joueurs humains qui l'ont défié.

La même année, DeepMind présente AlphaStar, un agent de renforcement pour le jeu de stratégie StarCraft II, qui atteint le rang de Grand Maître sur les serveurs officiels du jeu, se hissant parmi les 0,2 % de meilleurs joueurs humains, et ce pour les trois races jouables. Ces deux démonstrations marquent une étape importante : le renforcement ne se limite plus à des jeux à information parfaite comme le go ou les échecs, où chaque joueur voit l'intégralité du plateau. Il sait désormais gérer l'information partielle — dans StarCraft, une partie de la carte reste cachée à l'adversaire — la coordination entre plusieurs agents, et des horizons de décision de plusieurs dizaines de minutes.

En 2022, Sony AI franchit une nouvelle frontière avec GT Sophy, un agent entraîné par apprentissage par renforcement profond qui devient le premier à surpasser les meilleurs pilotes mondiaux du simulateur automobile Gran Turismo Sport. Le résultat, publié en couverture de Nature en février 2022, ne relève pas de la simple performance de vitesse : GT Sophy a dû apprendre les trajectoires optimales, la gestion des dépassements et le respect de l'étiquette de course, autant de compétences fines que l'on croyait réservées à l'intuition humaine. Le renforcement quittait le plateau de jeu pour un pilotage exigeant, en temps réel, aux commandes continues.

Un mot de nuance, enfin : tous les grands succès de « jeu contre l'humain » ne relèvent pas strictement du renforcement. En 2019, l'agent Pluribus, développé par Carnegie Mellon et Meta, a battu des professionnels au poker à six joueurs sans limite — un jeu à information cachée par excellence — mais il s'appuyait surtout sur une combinaison d'autoapprentissage et de recherche par minimisation du regret, une famille voisine mais distincte du renforcement classique. La frontière entre ces méthodes est poreuse, et c'est souvent leur mariage, plus qu'une technique isolée, qui produit les percées.

Environnement	Année	Difficulté clé	Résultat atteint
Jeux Atari 2600	2015	Apprentissage à partir des pixels bruts	Niveau humain sur la majorité de 49 jeux
Go (19x19)	2016	Espace de coups astronomique, évaluation intuitive	Victoire sur le champion du monde
Dota 2 (5 contre 5)	2019	Coordination d'équipe, parties de plusieurs dizaines de minutes	Victoire sur les champions du monde
StarCraft II	2019	Information partielle, actions en temps réel	Rang Grand Maître (top 0,2 %)
Gran Turismo Sport	2022	Contrôle continu, étiquette de course	Surpasse les meilleurs pilotes humains

De la simulation au monde réel : la robotique

Le jeu vidéo a démontré la puissance du renforcement dans des mondes numériques parfaitement simulés. La robotique pose un défi d'une autre nature : transposer un comportement appris dans un environnement virtuel vers un corps physique, soumis au frottement, à l'usure, à l'imprécision des capteurs et à mille détails que la simulation ne capture jamais parfaitement. Ce décalage porte un nom dans la discipline : le fossé simulation-réalité (sim-to-real gap).

Le problème de l'entraînement dans le monde physique

Entraîner directement un robot dans le monde réel par essais et erreurs pose un problème pratique évident : un agent de renforcement a besoin de millions d'essais pour converger vers une bonne politique, et chaque essai raté sur un robot physique coûte du temps, use le matériel, et ne peut pas être parallélisé aussi facilement qu'une simulation numérique. Un bras qui apprend à saisir un objet peut aussi se briser, renverser son environnement ou blesser un opérateur. La solution la plus répandue consiste donc à entraîner l'agent massivement en simulation, où les essais ne coûtent que du temps de calcul, puis à transférer la politique apprise vers le robot réel — à condition de savoir combler le fossé qui sépare le monde simulé du monde tangible.

La main robotique qui résout le Rubik's Cube

L'un des exemples les plus documentés de ce transfert réussi est celui de Dactyl, une main robotique à cinq doigts développée par OpenAI, présentée en octobre 2019. Dactyl a appris, entièrement en simulation, à manipuler un cube de Rubik pour en résoudre un côté à la fois, en utilisant la même base d'algorithme de renforcement que celle employée pour OpenAI Five. La difficulté principale ne résidait pas dans l'algorithme d'apprentissage lui-même, mais dans la fidélité de la simulation : la friction, l'élasticité des matériaux et les dynamiques de contact entre les doigts et le cube sont extrêmement difficiles à modéliser avec précision.

Pour combler ce fossé, l'équipe a développé une technique appelée randomisation automatique de domaine (Automatic Domain Randomization, ADR) : plutôt que de simuler un seul environnement fixe, le système génère continuellement des variantes de plus en plus diversifiées et difficiles — en faisant varier la friction, la masse, les délais de capteurs — ce qui force la politique apprise à devenir robuste à une large gamme de conditions physiques, plutôt que de se spécialiser sur un seul jeu de paramètres. Résultat concret : la main robotique s'est montrée capable de gérer des perturbations qu'elle n'avait jamais rencontrées explicitement en entraînement, comme le fait d'être bousculée par une peluche en forme de girafe ou entravée par un gant pendant la manipulation.

Cet exemple illustre une leçon plus générale, valable bien au-delà de la robotique : plus un agent de renforcement est exposé, pendant son entraînement, à une diversité de situations, plus il devient robuste face à l'imprévu du monde réel. C'est un principe qui reviendra, sous une autre forme, dans la façon dont les grands modèles de langage sont aujourd'hui affinés.

Au-delà des jeux : des applications industrielles et scientifiques

On aurait tort de réduire l'apprentissage par renforcement à une machine à gagner des jeux. Passé le stade de la démonstration, la méthode a commencé à s'installer dans des problèmes de contrôle bien réels, là où les objectifs sont mesurables et où une politique optimisée par essais surpasse les réglages conçus à la main. Trois exemples, tous validés et publiés, donnent la mesure de ce basculement.

Le premier concerne l'efficacité énergétique. Dès 2016, DeepMind a appliqué ses algorithmes d'apprentissage à la gestion du refroidissement des centres de données de Google. En apprenant à prédire la température à venir et à ajuster le système de climatisation au plus juste, l'IA a permis de réduire d'environ 40 % l'énergie consommée pour le refroidissement — un gain considérable à l'échelle d'infrastructures qui comptent parmi les plus gourmandes en électricité de la planète. Le renforcement n'y jouait pas contre un adversaire, mais contre le gaspillage.

Le deuxième relève de la physique de pointe. En février 2022, DeepMind et le Swiss Plasma Center de l'EPFL ont publié dans Nature une démonstration de contrôle du plasma d'un tokamak par apprentissage par renforcement. Dans un réacteur de fusion expérimental, le plasma — un gaz porté à des températures extrêmes — doit être maintenu en suspension et mis en forme par des champs magnétiques, avec des ajustements des milliers de fois par seconde. Un agent de renforcement, entraîné en simulation puis déployé sur le tokamak réel TCV, a réussi à sculpter et stabiliser des configurations de plasma variées, y compris une où deux plasmas distincts coexistaient dans la même enceinte. Un problème de contrôle réputé parmi les plus ardus de la physique appliquée devenait, en partie, un problème d'apprentissage.

Là où le jeu offrait un score clair et un environnement gratuit à réinitialiser, le monde réel impose des enjeux tangibles — de l'énergie, du matériel, parfois la sécurité. Que le renforcement y fasse ses preuves change la nature de la promesse : il ne s'agit plus de battre un humain, mais de mieux piloter une machine.

Le troisième exemple, publié dans Nature fin 2020, tient presque de la science-fiction discrète : la navigation autonome de ballons stratosphériques. Dans le cadre du projet Loon, qui visait à fournir une couverture internet depuis la stratosphère, un contrôleur de vol entraîné par renforcement a appris à maintenir des ballons superpressurisés au-dessus d'une zone donnée, en exploitant les courants de vent à différentes altitudes plutôt qu'en luttant contre eux. Lors d'une expérience contrôlée de trente-neuf jours au-dessus du Pacifique, ce pilote automatique a surpassé l'algorithme conventionnel utilisé jusque-là. Ensemble, ces trois cas dessinent une trajectoire nette : le renforcement s'échappe du laboratoire et de l'écran de jeu pour devenir un outil de contrôle parmi d'autres, choisi quand un objectif se laisse chiffrer et qu'aucune recette écrite à la main ne suffit.

RLHF : quand le renforcement aligne les modèles de langage

Depuis 2022, l'apprentissage par renforcement a trouvé un nouveau terrain d'application, moins spectaculaire visuellement qu'un robot ou une partie de go, mais tout aussi déterminant pour l'expérience quotidienne de millions d'utilisateurs : l'alignement des grands modèles de langage sur les attentes humaines, via une technique appelée RLHF, apprentissage par renforcement à partir de retours humains (Reinforcement Learning from Human Feedback).

Une idée née dans les jeux

L'intuition centrale du RLHF précède de plusieurs années son application aux modèles de langage. En 2017, une équipe conjointe d'OpenAI et de DeepMind, menée par Paul Christiano, publiait « Deep Reinforcement Learning from Human Preferences ». L'idée : lorsqu'un objectif est trop subtil pour être écrit sous forme de récompense mathématique, on peut demander à des humains de comparer deux comportements de l'agent et d'indiquer lequel ils préfèrent, puis entraîner un modèle de récompense à imiter ces préférences. Les chercheurs ont ainsi appris à un agent simulé à exécuter un salto arrière — une tâche presque impossible à formaliser par une équation — à partir de quelques centaines de comparaisons humaines seulement. Cette brique, apparemment anecdotique, allait devenir le socle de l'alignement des modèles conversationnels.

Le principe du RLHF appliqué au langage

Un grand modèle de langage pré-entraîné sur d'immenses corpus de texte sait prédire la suite statistiquement probable d'une phrase, mais ne sait pas nécessairement produire des réponses utiles, sûres et bien formulées du point de vue d'un utilisateur humain. Dans leur article de mars 2022, « Training language models to follow instructions with human feedback », des chercheurs d'OpenAI menés par Long Ouyang décrivent la méthode qui a donné naissance à InstructGPT, ancêtre direct de ChatGPT. Le procédé se déroule en trois temps : d'abord un réglage supervisé sur un petit ensemble de démonstrations rédigées par des annotateurs humains ; ensuite l'entraînement d'un modèle de récompense à partir de classements de réponses effectués par ces mêmes annotateurs, qui comparent plusieurs réponses du modèle et indiquent laquelle ils préfèrent ; enfin, un affinage du modèle de langage par renforcement, en utilisant l'algorithme PPO, où le modèle de récompense joue le rôle de la fonction de récompense de l'environnement.

Le résultat rapporté dans l'article est significatif : dans des comparaisons en aveugle, un modèle InstructGPT de 1,3 milliard de paramètres seulement était préféré par les évaluateurs humains à un modèle GPT-3 brut de 175 milliards de paramètres, cent trente fois plus gros, tout en produisant sensiblement moins d'erreurs factuelles et de contenus problématiques. Autrement dit, le renforcement à partir de retours humains ne rend pas seulement un modèle plus grand ; il le rend mieux aligné avec ce que les utilisateurs attendent réellement de lui, à taille égale voire inférieure.

Simplifier la recette : l'exemple de la DPO

Le RLHF classique est puissant, mais lourd : il exige d'entraîner un modèle de récompense séparé, puis de faire tourner une boucle de renforcement complète, sensible aux réglages et parfois instable. En 2023, des chercheurs de Stanford emmenés par Rafael Rafailov ont proposé une alternative remarquée, la Direct Preference Optimization (DPO). Leur observation, résumée par le sous-titre de leur article — « votre modèle de langage est secrètement un modèle de récompense » — est qu'il est possible de se passer entièrement de l'étape de renforcement : on peut réécrire le problème sous une forme qui optimise directement le modèle de langage à partir des préférences humaines, en une seule phase d'entraînement supervisé. À qualité d'alignement comparable, la DPO est plus simple à mettre en œuvre, plus stable, et moins exposée au détournement de récompense. Cet épisode illustre un mouvement de fond de la discipline : une fois qu'une méthode complexe a fait ses preuves, la recherche s'emploie à en trouver une version plus économe et plus robuste.

Le raisonnement appris par renforcement

Le RLHF a d'abord servi à polir le ton et la sûreté des réponses des modèles conversationnels. Mais en septembre 2024, OpenAI a montré que le renforcement pouvait aller plus loin, en s'attaquant directement à la capacité de raisonnement des modèles. Le modèle o1, présenté dans l'article « Learning to reason with LLMs », est entraîné par un processus de renforcement à grande échelle qui l'incite à développer une longue chaîne de raisonnement interne avant de produire sa réponse finale. Le modèle apprend, par la seule pression du signal de récompense, à décomposer les problèmes difficiles en étapes plus simples, à repérer ses propres erreurs de raisonnement et à les corriger, et à changer de stratégie lorsque la première approche tentée ne mène nulle part.

La particularité mise en avant par les auteurs est que les performances de o1 s'améliorent selon deux axes distincts et complémentaires : davantage de calcul consacré à l'entraînement par renforcement d'une part, davantage de temps de réflexion accordé au modèle au moment de répondre d'autre part. Sur les bancs d'essai cités dans la présentation du modèle, o1 se classe au 89e percentile sur les épreuves de programmation compétitive de Codeforces et figure parmi les 500 meilleurs candidats à un examen de qualification pour l'Olympiade américaine de mathématiques. Ce résultat illustre un déplacement progressif : après avoir servi à aligner le ton des modèles, l'apprentissage par renforcement devient un levier direct pour améliorer leur capacité de raisonnement proprement dite.

Le fil qui relie TD-Gammon en 1992 et un modèle de raisonnement en 2024 est le même : un signal de récompense, et des millions d'essais pour apprendre à le maximiser. Seule l'échelle a changé.

Comprendre la mécanique, sans les mathématiques

Il est utile, à ce stade, de revenir sur la mécanique interne de ces méthodes, en évitant le formalisme mathématique mais sans perdre en précision sur les idées.

Value-based versus policy-based

Reprenons la distinction esquissée plus haut. Une méthode « à base de valeur », comme le Q-learning utilisé dans DQN, apprend une table — ou, avec un réseau de neurones, une fonction — qui associe à chaque paire état-action une estimation de la récompense future qu'elle promet. L'agent choisit alors simplement, à chaque instant, l'action dont l'estimation est la plus élevée. Cette approche fonctionne bien lorsque le nombre d'actions possibles est limité et discret, comme dans un jeu Atari où la manette n'offre qu'une poignée de mouvements possibles.

Une méthode « à base de politique », en revanche, ajuste directement les paramètres d'un réseau de neurones qui produit, pour chaque état, une distribution de probabilité sur les actions. Cette approche se prête mieux aux espaces d'action continus — orienter un bras robotique selon un angle précis, ou doser l'accélérateur d'une voiture de course, par exemple — où il serait absurde d'énumérer toutes les valeurs possibles une par une. C'est cette famille de méthodes, perfectionnée par des algorithmes comme PPO, qui domine aujourd'hui la plupart des applications avancées, du contrôle robotique à l'alignement des modèles de langage.

L'architecture acteur-critique et le rôle de PPO

La plupart des systèmes récents ne choisissent pas entre valeur et politique : ils font travailler les deux de concert, dans une architecture dite acteur-critique. L'« acteur » est la politique, qui décide de l'action ; le « critique » est une fonction de valeur, qui évalue la qualité de cette décision et fournit un signal d'ajustement plus fin qu'une récompense brute. Le critique permet notamment de calculer un avantage : de combien une action donnée s'est révélée meilleure, ou pire, que ce que l'on attendait en moyenne dans cette situation. C'est cet écart, plutôt que la récompense absolue, qui guide l'ajustement de la politique.

L'algorithme PPO (Proximal Policy Optimization), devenu la référence pratique du domaine, ajoute une précaution décisive : il empêche la politique de trop changer d'un coup. À chaque mise à jour, il bride l'ampleur de la modification pour rester « proche » de la politique précédente, ce qui évite les effondrements brutaux de performance qui rendaient les anciens algorithmes si instables. Cette simplicité relative et cette robustesse expliquent pourquoi on retrouve PPO aussi bien derrière OpenAI Five et Dactyl que derrière l'affinage d'InstructGPT — trois problèmes en apparence sans rapport, résolus par la même mécanique de fond.

Le rôle central de la fonction de récompense

Un point mérite d'être souligné, car il conditionne la réussite ou l'échec de tout projet de renforcement : la qualité du comportement final dépend presque entièrement de la façon dont la récompense a été définie. Un agent de renforcement optimise exactement ce qu'on lui demande d'optimiser — ni plus, ni moins — et il le fait souvent d'une manière littérale et parfois inattendue pour les concepteurs du système. Concevoir une bonne fonction de récompense, qui capture réellement l'objectif souhaité sans laisser de faille exploitable, est en pratique l'une des tâches les plus délicates de tout projet de renforcement, bien plus que le choix de l'algorithme d'apprentissage lui-même.

C'est précisément ce défi que le RLHF cherche à résoudre pour les modèles de langage : plutôt que d'essayer d'écrire à la main une formule mathématique qui capture ce qu'est une « bonne réponse », on entraîne un modèle de récompense à partir des préférences exprimées par des humains, puis on laisse l'algorithme de renforcement optimiser ce modèle appris. C'est une manière indirecte, mais souvent plus fiable, de transmettre à la machine une notion de qualité difficile à formaliser explicitement.

Les défis qui subsistent

Malgré ses succès, l'apprentissage par renforcement reste une méthode exigeante, et il est utile d'en connaître les limites pour l'appliquer à bon escient.

• L'efficacité d'échantillonnage : un agent de renforcement a souvent besoin d'un nombre considérable d'essais pour apprendre une politique correcte — 45 000 années de jeu simulé dans le cas d'OpenAI Five, des millions de parties pour AlphaGo. Cette gourmandise en données limite son usage direct dans des domaines où chaque essai est coûteux ou risqué, et explique pourquoi la simulation reste omniprésente.
• Le détournement de récompense (reward hacking) : un agent peut découvrir une manière inattendue de maximiser son score sans réellement accomplir la tâche visée. L'exemple le plus célèbre reste celui du jeu de course de bateaux CoastRunners, où un agent d'OpenAI, censé finir la course, a découvert qu'il pouvait engranger davantage de points en tournant en boucle dans un lagon pour percuter sans fin les mêmes cibles bonus — obtenant un score supérieur de 20 % à celui des humains sans jamais terminer un seul tour. Détecter et corriger ces comportements demande une vigilance constante.
• Le fossé simulation-réalité : comme on l'a vu avec Dactyl, un comportement appris dans un monde simulé ne se transfère pas toujours directement vers le monde physique, et combler cet écart demande des techniques dédiées, comme la randomisation de domaine.
• La stabilité de l'entraînement : les algorithmes de renforcement, en particulier les plus anciens, peuvent être sensibles aux réglages de leurs hyperparamètres et produire des résultats instables d'une exécution à l'autre, ce qui a longtemps compliqué leur adoption en dehors des laboratoires spécialisés — un problème que des méthodes comme PPO ont largement, mais pas totalement, atténué.

Ces limites n'ont rien d'un obstacle définitif : elles orientent plutôt la recherche vers des méthodes hybrides, qui combinent le renforcement avec d'autres formes d'apprentissage — supervision humaine, pré-entraînement massif, simulation de plus en plus fidèle — pour compenser ses points faibles tout en conservant sa force principale, celle de découvrir des stratégies qu'aucun humain n'aurait pensé à programmer explicitement.

Ce qu'il faut retenir

L'apprentissage par renforcement occupe une place singulière dans la famille des méthodes d'intelligence artificielle. Là où l'apprentissage supervisé apprend à imiter des exemples donnés, le renforcement apprend à découvrir une stratégie, guidé par le seul signal de la récompense. Cette différence de nature explique pourquoi la méthode a produit certains des résultats les plus spectaculaires du domaine — un programme de backgammon qui invente de nouvelles ouvertures, un agent qui bat le champion du monde de go d'un coup que nul humain n'aurait joué, une main robotique qui résout un cube de Rubik, un pilote virtuel qui bat les meilleurs conducteurs, un modèle de langage qui apprend à corriger ses propres erreurs de raisonnement — tout en restant, sur le plan technique, l'une des méthodes les plus exigeantes à mettre en œuvre correctement.

Le fil conducteur, de TD-Gammon en 1992 aux modèles de raisonnement de 2024, est resté remarquablement stable : un agent, un environnement, une récompense, et suffisamment d'essais pour que l'apprentissage converge. Ce qui a changé, c'est l'échelle — la puissance de calcul disponible, la taille des réseaux de neurones employés, la sophistication des environnements simulés — et le périmètre d'application, qui s'est étendu des jeux de société aux jeux vidéo, puis à la robotique, au contrôle de systèmes industriels et scientifiques, et enfin à l'alignement des grands modèles de langage eux-mêmes.

Pour qui souhaite suivre l'actualité de l'intelligence artificielle avec discernement, retenir ce principe simple aide à décoder une bonne partie des annonces : chaque fois qu'un système apprend à accomplir une tâche complexe sans qu'on lui ait montré explicitement comment faire, il y a de bonnes chances qu'un mécanisme de récompense et d'essais répétés se cache derrière la prouesse. Comprendre cette mécanique, ce n'est pas seulement satisfaire une curiosité technique : c'est se donner les moyens de lire, avec un peu plus de recul, la prochaine génération d'agents qui apprendront, comme toujours, par essais et récompenses.

Sources

Cet article s'appuie sur des sources publiques et vérifiables :

• Sutton, R. & Barto, A., Reinforcement Learning: An Introduction — incompleteideas.net (manuel de référence : MDP, valeur, politique, exploration).
• Arthur Samuel et le jeu de dames (1959) — Wikipedia, Arthur Samuel (origine de l'expression « machine learning »).
• Sutton, R., « Learning to Predict by the Methods of Temporal Differences », 1988 — incompleteideas.net (PDF) (apprentissage par différence temporelle).
• Watkins, C. & Dayan, P., « Q-learning », Machine Learning, 1992 — Springer (fondement du Q-learning).
• Gerald Tesauro, TD-Gammon — Wikipedia, TD-Gammon (historique, méthode TD(λ), niveau de jeu atteint).
• Mnih, V. et al., « Human-level control through deep reinforcement learning », Nature 518, 2015 — nature.com/articles/nature14236 (DQN, 49 jeux Atari, experience replay).
• Silver, D. et al., « Mastering the Game of Go with Deep Neural Networks and Tree Search », Nature 529, 2016 — nature.com/articles/nature16961 (AlphaGo, réseaux de politique et de valeur).
• AlphaGo contre Lee Sedol, le coup 37 — Wikipedia, AlphaGo versus Lee Sedol (déroulé du match, coup 37 de la partie 2).
• DeepMind, « AI Reduces Google Data Centre Cooling Bill by 40% », 2016 — deepmind.google (application au refroidissement des centres de données).
• OpenAI, « OpenAI Five defeats Dota 2 world champions », 2019 — openai.com (échelle d'entraînement, PPO, 45 000 années de jeu).
• Vinyals, O. et al., « Grandmaster level in StarCraft II using multi-agent reinforcement learning », Nature, 2019 — nature.com (AlphaStar, top 0,2 %, information partielle).
• Sony AI, Gran Turismo Sophy — ai.sony (premier agent à battre les meilleurs pilotes de Gran Turismo, Nature, février 2022).
• OpenAI, « Solving Rubik's Cube with a Robot Hand », 2019 — openai.com/index/solving-rubiks-cube (Dactyl, randomisation automatique de domaine).
• Degrave, J. et al., contrôle du plasma d'un tokamak (EPFL & DeepMind), Nature, 2022 — actu.epfl.ch (renforcement appliqué à la fusion nucléaire).
• Bellemare, M. et al., « Autonomous navigation of stratospheric balloons using reinforcement learning », Nature 588, 2020 — nature.com (pilotage des ballons Loon).
• Christiano, P. et al., « Deep Reinforcement Learning from Human Preferences », 2017 — arXiv 1706.03741 (origine du modèle de récompense appris).
• Ouyang, L. et al., « Training language models to follow instructions with human feedback », 2022 — arXiv 2203.02155 (InstructGPT, méthode RLHF en trois étapes).
• Rafailov, R. et al., « Direct Preference Optimization », 2023 — arXiv 2305.18290 (alternative simplifiée au RLHF).
• OpenAI, « Faulty Reward Functions in the Wild », 2016 — openai.com (détournement de récompense, exemple CoastRunners).
• OpenAI, « Learning to reason with LLMs », 2024 — openai.com/index/learning-to-reason-with-llms (modèle o1, renforcement appliqué au raisonnement).