Réseaux de neurones : de Hopfield à Hinton, les fondations de l'IA moderne

Le 8 octobre 2024, le comité Nobel a surpris le monde scientifique. Le prix Nobel de physique n'a récompensé ni une avancée en cosmologie, ni une découverte en physique des particules, mais deux chercheurs dont les travaux ont posé les fondations de l'apprentissage automatique : John J. Hopfield et Geoffrey E. Hinton. Leur distinction, décernée « pour des découvertes et inventions fondamentales qui permettent l'apprentissage automatique avec des réseaux de neurones artificiels », consacre une filiation souvent oubliée : les réseaux de neurones modernes puisent leurs racines dans la thermodynamique et la mécanique statistique. Cet article retrace cette lignée continue, d'un article de 1982 sur la mémoire associative jusqu'aux modèles génératifs que nous utilisons aujourd'hui.

Notre ambition tient en une phrase : montrer que l'intelligence artificielle d'aujourd'hui n'est pas née dans l'urgence des dernières années, mais dans la patience de huit décennies de recherche fondamentale. Nous allons décrire chaque brique conceptuelle — le neurone formel, le perceptron, le réseau de Hopfield, la machine de Boltzmann, la rétropropagation, le deep learning — et suivre le fil qui relie ces idées entre elles. C'est le principe de la chronique « Le Paper du lundi » : rendre accessible un travail de recherche marquant, avec l'émerveillement de celui qui aime comprendre comment les idées avancent.

Un mot de méthode d'abord. L'histoire populaire de l'IA se raconte volontiers comme une succession de démonstrations spectaculaires. La réalité est plus riche et plus lente : une chaîne d'intuitions théoriques, dont chaque maillon a rendu le suivant possible. Le Nobel 2024 met précisément cette chaîne en lumière. C'est elle que nous allons parcourir, maillon par maillon.

Octobre 2024 : quand Stockholm consacre l'apprentissage automatique

L'annonce est venue de l'Académie royale des sciences de Suède. Le prix Nobel de physique 2024 a été attribué conjointement à John J. Hopfield, de l'université de Princeton, et à Geoffrey E. Hinton, de l'université de Toronto. Selon la formulation officielle du comité, les deux lauréats ont « utilisé des outils de la physique pour développer des méthodes qui constituent le fondement de l'apprentissage automatique actuel ». Le communiqué précise que leurs travaux, menés à partir des années 1980, ont, selon le comité Nobel, « aidé à poser les bases de la révolution de l'apprentissage automatique qui a commencé aux alentours de 2010 ».

Deux contributions distinctes et complémentaires

Le comité a soigneusement distingué les apports de chacun. John Hopfield a conçu une mémoire associative capable de stocker et de reconstruire des images ou d'autres motifs dans des données. Geoffrey Hinton a inventé une méthode capable de découvrir de façon autonome des propriétés dans les données — une capacité qui permet, par exemple, d'identifier des éléments spécifiques dans une image. Deux briques différentes, mais qui s'emboîtent : Hinton a d'ailleurs utilisé le réseau de Hopfield comme point de départ pour construire un nouveau modèle, la machine de Boltzmann.

Pourquoi un prix de physique pour ces travaux ?

La question a animé les discussions académiques dans les heures qui ont suivi l'annonce, et elle mérite une réponse précise. Les réseaux de Hopfield sont construits sur le modèle d'Ising, un pilier de la physique statistique décrivant le comportement des matériaux magnétiques. Les machines de Boltzmann de Hinton empruntent leur nom et leur formalisme à la distribution de Boltzmann, fondement de la thermodynamique statistique. Les outils mathématiques sous-jacents — fonctions d'énergie, convergence vers un état d'équilibre, distributions de probabilité — sont ceux de la physique.

Le message de l'Académie est cohérent : la physique ne se définit pas seulement par son objet d'étude, mais par ses méthodes. Si les outils de la physique statistique permettent de concevoir des systèmes d'apprentissage automatique, alors ces systèmes relèvent légitimement de la physique. Cette lecture large n'est pas une exception : en 2021, le prix avait déjà honoré la modélisation du climat, à la croisée de la physique, des mathématiques et des sciences de la Terre. Le Nobel de physique a toujours eu une vision généreuse de son périmètre.

Les réseaux de neurones artificiels ne sont pas nés dans un laboratoire d'informatique, mais à la frontière de la physique, des mathématiques et de la neurobiologie. C'est cette filiation que le comité a choisi d'honorer.

Les racines profondes : de la biologie aux mathématiques

Pour comprendre la portée du Nobel 2024, il faut remonter aux origines de l'idée même de neurone artificiel. L'histoire commence bien avant les processeurs graphiques et les centres de données. Elle débute dans les années 1940, quand des mathématiciens et des neuroscientifiques ont tenté de formaliser le fonctionnement du cerveau en équations. Cette quête a connu des triomphes, des périodes de doute et des renaissances.

McCulloch et Pitts : le premier neurone formel (1943)

En 1943, le neurophysiologiste Warren McCulloch et le logicien Walter Pitts publient un article fondateur, « A Logical Calculus of the Ideas Immanent in Nervous Activity ». Leur proposition est élégante dans sa simplicité. Un neurone biologique, argumentent-ils, peut être modélisé comme une unité logique binaire : il reçoit des signaux d'entrée, les pondère, les additionne, et « s'active » si la somme dépasse un certain seuil. Ce modèle, le neurone formel de McCulloch-Pitts, est la première tentative rigoureuse de traduire la biologie neuronale en mathématiques.

Ce neurone ne peut pas apprendre — ses poids sont fixés une fois pour toutes. Mais l'idée qu'un réseau de telles unités puisse effectuer des calculs complexes ouvre une voie conceptuelle majeure. McCulloch et Pitts démontrent que tout calcul logique réalisable par une machine de Turing peut être répliqué par un réseau de neurones formels correctement connecté. Le cerveau, en un sens, peut être vu comme un système de calcul ; et un système de calcul peut, en principe, imiter certaines opérations du cerveau.

Le perceptron de Rosenblatt (1958)

Quinze ans plus tard, le psychologue Frank Rosenblatt, du Cornell Aeronautical Laboratory, franchit une étape décisive : il crée un neurone artificiel capable d'apprendre. Son perceptron, présenté en 1958, ajuste automatiquement ses poids de connexion en fonction des erreurs commises. Confronté à des images de formes simples, le perceptron apprend à distinguer les catégories en modifiant itérativement ses paramètres. C'est la première règle d'apprentissage implémentée sur une machine.

L'enthousiasme est immédiat. En juillet 1958, le New York Times, relayant une conférence de presse de la Marine américaine, décrit le perceptron comme « l'embryon d'un ordinateur électronique dont [la Marine] espère qu'il pourra marcher, parler, voir, écrire, se reproduire et être conscient de son existence ». Rosenblatt lui-même reste plus mesuré, mais le battage médiatique a planté une graine d'attentes très élevées. Le décalage entre la promesse et la réalité de l'époque provoquera bientôt un retour de balancier.

Le perceptron reste néanmoins une avancée authentique. Il introduit un principe qui traversera tous les réseaux de neurones ultérieurs : l'apprentissage par correction d'erreur. À chaque exemple mal classé, les poids sont ajustés proportionnellement à l'erreur commise. Le théorème de convergence du perceptron, démontré par Rosenblatt, garantit que si les données sont linéairement séparables, l'algorithme finira par trouver une solution correcte en un nombre fini d'itérations. Ce résultat, d'une belle élégance mathématique, restera une pierre angulaire de la théorie de l'apprentissage.

Le tournant de Minsky et Papert (1969)

En 1969, deux chercheurs du MIT, Marvin Minsky et Seymour Papert, publient Perceptrons: An Introduction to Computational Geometry. Leur démonstration est rigoureuse : un perceptron simple, à une seule couche de neurones, est incapable de résoudre des problèmes qui ne sont pas linéairement séparables. L'exemple le plus célèbre est la fonction XOR — le « ou exclusif » — que le perceptron simple ne peut pas apprendre.

Minsky et Papert ne prétendent pas que les réseaux multicouches sont sans avenir. Mais leur livre est reçu comme un signal de prudence radical à l'égard des réseaux de neurones. Les financements se réorientent. La communauté se tourne vers d'autres approches — systèmes experts, logique symbolique. Une longue période de retrait des réseaux de neurones commence, souvent appelée le « premier hiver de l'IA ». Elle durera près de quinze ans. Pendant cette traversée, l'idée de faire calculer des machines en s'inspirant du cerveau est jugée peu prometteuse par la majorité. Seuls quelques chercheurs obstinés continuent d'y croire. Parmi eux : John Hopfield et Geoffrey Hinton.

John Hopfield et la mémoire des machines (1982)

Le parcours d'un physicien de la matière condensée

John Joseph Hopfield est né en 1933 à Chicago, dans une famille où la curiosité scientifique est un réflexe quotidien : son père était lui-même physicien. Il obtient son doctorat en physique à l'université Cornell en 1958 — la même année où Rosenblatt présente le perceptron, au sein de la même université, au Cornell Aeronautical Lab. Une coïncidence que Hopfield ne mesurera que bien plus tard.

Hopfield fait sa carrière dans la physique de la matière condensée, étudiant les propriétés collectives des systèmes à grande échelle : cristaux, matériaux magnétiques, semi-conducteurs. Sa spécialité consiste à comprendre comment des règles simples appliquées à des composants individuels — atomes, molécules — donnent naissance à des comportements collectifs, ce qu'on appelle l'émergence. Un flocon de neige émerge de molécules d'eau suivant des règles cristallographiques simples. Un aimant émerge de milliards d'atomes alignant collectivement leurs moments magnétiques. Le comportement du cerveau, se dit Hopfield, pourrait bien émerger de milliards de neurones suivant des règles synaptiques simples.

C'est cette intuition qu'il va transposer aux neurones artificiels. Au tournant des années 1980, Hopfield assiste à des séminaires de neurobiologie où il constate que les neuroscientifiques manquent d'outils théoriques pour décrire le comportement collectif du cerveau. Lui, le physicien, dispose précisément de ces outils. Le pont est là, attendant d'être construit. En 1982, à quarante-huit ans, Hopfield publie un article qui va modifier la trajectoire de deux disciplines à la fois.

Le réseau de Hopfield, expliqué simplement

L'article de 1982, publié dans les Proceedings of the National Academy of Sciences sous le titre « Neural networks and physical systems with emergent collective computational abilities », propose un modèle de réseau directement inspiré de la physique des matériaux magnétiques.

Le principe est le suivant. Imaginez un réseau de neurones tous connectés entre eux : chaque neurone est relié à tous les autres. Chaque neurone ne peut prendre que deux états, actif ou inactif. Les connexions entre neurones portent des poids — des valeurs mesurant la force du lien. Le réseau possède une fonction d'énergie, analogue à l'énergie d'un système physique. Quand on présente un motif au réseau — par exemple une image dégradée —, celui-ci évolue naturellement vers un état de basse énergie, un « attracteur », qui correspond au motif mémorisé le plus proche du stimulus initial.

Pour un physicien, la parenté est immédiate : c'est le modèle d'Ising appliqué au calcul. Dans le modèle d'Ising, des « spins » magnétiques, eux aussi binaires, interagissent avec leurs voisins et convergent vers un état d'énergie minimale. Hopfield a remplacé les spins par des neurones et les interactions magnétiques par des connexions synaptiques. Le formalisme est le même ; l'application est radicalement différente.

La beauté du modèle réside dans sa capacité de mémoire associative. Prenons une image concrète : une bille posée sur un paysage vallonné, avec plusieurs creux et bosses. Chaque vallée représente un souvenir stocké. Quand vous donnez une impulsion à la bille — c'est-à-dire quand vous présentez un motif partiel ou bruité au réseau —, la bille roule naturellement vers la vallée la plus proche. Le réseau « se souvient » du motif complet à partir d'un fragment.

C'est exactement ce que fait notre mémoire biologique. Entendez les trois premières notes d'une chanson, et votre cerveau complète la mélodie. Voyez un visage à moitié caché par une écharpe, et vous reconnaissez la personne. Le réseau de Hopfield formalise ce mécanisme de complétion de motif en termes physiques et mathématiques. Il démontre qu'un système de neurones interconnectés, régi par une dynamique de minimisation d'énergie, possède des capacités de stockage et de récupération d'information analogues à la mémoire biologique.

Une élégance mathématique et des applications concrètes

L'élégance du modèle de Hopfield tient aussi à ses propriétés mathématiques. La convergence vers un état stable est garantie : la fonction d'énergie ne peut que décroître à chaque mise à jour d'un neurone. Il n'y a pas de cycle infini possible ; le réseau finit toujours par atteindre un attracteur. Cette robustesse, héritée directement de la physique des matériaux magnétiques, distingue le modèle de bien des algorithmes de l'époque.

Sur le plan pratique, le réseau de Hopfield a aussi ouvert des perspectives en optimisation combinatoire. En 1985, Hopfield et David Tank montrent que ce type de réseau peut aborder des problèmes classiques, comme le fameux problème du voyageur de commerce — trouver le chemin le plus court passant par un ensemble de villes. L'idée consiste à encoder les contraintes du problème dans les poids du réseau, puis à le laisser converger vers un état de basse énergie, qui correspond à une bonne solution. Cette approche a nourri tout un champ de recherche sur les méthodes d'optimisation neuro-inspirées, encore vivant aujourd'hui.

L'article de Hopfield a un retentissement sur deux communautés. Les physiciens y voient une application fascinante de leurs outils à la neuroscience computationnelle. Les informaticiens y découvrent un modèle de calcul différent de la logique séquentielle classique : un modèle où le calcul émerge du comportement collectif d'un réseau, et non d'une suite d'instructions. Cette double lecture fertilisera des décennies de recherche.

Geoffrey Hinton et la naissance du deep learning

De Cambridge à Toronto : la trajectoire d'un chercheur à contre-courant

Geoffrey Everest Hinton est né en 1947 à Wimbledon, au Royaume-Uni. Son parcours l'a mené de Cambridge, où il étudie la psychologie expérimentale, à l'université d'Édimbourg, où il obtient un doctorat en intelligence artificielle en 1978, puis à la Carnegie Mellon University aux États-Unis, avant de s'installer à l'université de Toronto en 1987. Il y passera la majeure partie de sa carrière.

Le choix de Toronto n'est pas anodin. Dans les années 1980, le paradigme dominant aux États-Unis est l'IA symbolique : systèmes experts, logique formelle, manipulation de symboles. Les financements privilégient cette approche. Hinton, convaincu que l'apprentissage passe par l'ajustement des connexions et non par des règles explicites, trouve au Canada un terrain plus favorable. L'université de Toronto lui offre la liberté de poursuivre ses travaux sur les réseaux de neurones à un moment où peu de chercheurs y croient.

George Boole dans les gènes

La généalogie intellectuelle de Hinton est remarquable. Son arrière-arrière-grand-père paternel n'est autre que George Boole, le mathématicien qui a formalisé l'algèbre booléenne en 1854 — la base logique sur laquelle repose toute l'informatique moderne. Les portes logiques ET, OU, NON qui constituent les circuits de chaque processeur remontent à l'œuvre de Boole.

Cette filiation éclaire une tension féconde dans l'œuvre de Hinton. L'informatique traditionnelle, celle de Boole et de Turing, est symbolique : elle manipule des règles logiques explicites. L'approche de Hinton est différente : les réseaux de neurones apprennent des représentations distribuées, où la connaissance est encodée dans les poids des connexions, et non dans des règles écrites à la main. Le descendant de Boole a contribué à dépasser le paradigme de Boole. La boucle est élégante.

Pourquoi Hinton a persévéré

Dans les années 1980 et 1990, travailler sur les réseaux de neurones est un choix de carrière audacieux. Les conférences refusent régulièrement les articles, les comités de financement estiment que l'approche connexionniste est peu prometteuse. Hinton raconte avoir dû présenter certains de ses travaux sous l'angle des sciences cognitives pour obtenir des publications et des bourses.

Sa persévérance repose sur une conviction : le cerveau humain ne fonctionne pas comme un système expert. Il n'applique pas des règles « si… alors… ». Il apprend par exposition, par ajustement, en renforçant les connexions qui fonctionnent et en affaiblissant celles qui échouent. Si le cerveau apprend ainsi, raisonnait Hinton, alors les machines devraient pouvoir le faire aussi, à condition de trouver les bons algorithmes. Cette conviction, appuyée sur des arguments biologiques autant que mathématiques, l'a porté pendant trois décennies de doutes et de refus.

Les machines de Boltzmann : le pont entre deux mondes

Quand la thermodynamique rencontre l'apprentissage

En 1985, Geoffrey Hinton publie avec David Ackley et Terrence Sejnowski un article qui constitue l'un des ponts les plus élégants entre physique et informatique : « A Learning Algorithm for Boltzmann Machines », paru dans Cognitive Science. La machine de Boltzmann est un réseau de neurones stochastique : au lieu de basculer de façon déterministe, chaque neurone a une probabilité de s'activer, gouvernée par la distribution de Boltzmann. C'est une généralisation probabiliste du réseau de Hopfield.

En physique statistique, la distribution de Boltzmann décrit comment les particules d'un système se répartissent entre différents états d'énergie à une température donnée. À température élevée, les particules explorent librement tous les états possibles. À température basse, elles convergent vers les états de plus basse énergie. Hinton et ses coauteurs transposent cette dynamique : à « haute température », la machine de Boltzmann explore largement l'espace des configurations, ce qui l'aide à ne pas rester bloquée dans des solutions médiocres ; à « basse température », elle converge vers des configurations stables représentant les motifs appris.

Cette idée de recuit simulé (simulated annealing), empruntée à la métallurgie et à la physique, est une contribution conceptuelle majeure. Elle répond à un problème récurrent des réseaux de neurones : comment éviter les solutions locales médiocres pour trouver de meilleures solutions globales. La réponse : ajouter du bruit contrôlé, exactement comme on chauffe un métal pour le recristalliser.

Pour saisir l'analogie, pensez à un forgeron qui travaille l'acier. À température ambiante, les atomes du métal sont figés dans une structure parfois imparfaite. En chauffant le métal, le forgeron permet aux atomes de se réorganiser librement ; puis, en le refroidissant lentement — le recuit —, il les laisse trouver une organisation plus régulière. Dans une machine de Boltzmann, la « température » contrôle le degré d'exploration aléatoire du réseau, et un refroidissement progressif l'aide à converger vers une bonne configuration. C'est l'un des transferts conceptuels les plus élégants entre la physique des matériaux et l'apprentissage automatique.

Les machines de Boltzmann restreintes

La machine de Boltzmann originale, bien qu'élégante, pose un problème pratique : son apprentissage est très lent, car chaque neurone est connecté à tous les autres. En réponse, Hinton et ses collaborateurs développent les machines de Boltzmann restreintes (RBM, pour Restricted Boltzmann Machines). La restriction est simple : les neurones sont organisés en deux couches, visible et cachée, sans connexion entre neurones d'une même couche. Seules les connexions entre couches sont autorisées.

Cette contrainte simplifie considérablement l'apprentissage. Les RBM peuvent être entraînées efficacement avec un algorithme appelé divergence contrastive, proposé par Hinton en 2002. Et surtout, elles peuvent être empilées : une RBM alimente la suivante, formant un réseau profond, un deep belief network. C'est l'un des premiers modèles de deep learning réellement fonctionnels. Nous y reviendrons.

Avant même l'essor du deep learning, les machines de Boltzmann et les RBM ont trouvé des usages variés :

• Systèmes de recommandation : des RBM ont été employées pour améliorer la précision de suggestions de contenus, notamment dans le cadre du concours de recommandation de films Netflix.
• Réduction de dimensionnalité : les RBM apprennent des représentations compactes de données complexes, utiles pour la visualisation et le prétraitement.
• Modélisation générative : avant les réseaux antagonistes et les modèles de diffusion, les machines de Boltzmann figuraient parmi les rares modèles capables de générer de nouvelles données ressemblant aux données d'entraînement.
• Pré-entraînement non supervisé : empiler des RBM pour initialiser les poids d'un réseau profond avant un apprentissage supervisé — une technique qui a relancé le deep learning à partir de 2006.

La rétropropagation : apprendre de ses erreurs à grande échelle

Le principe : remonter l'erreur couche par couche

Les réseaux de Hopfield et les machines de Boltzmann ont posé des fondations conceptuelles. Il manquait encore un ingrédient : un algorithme d'apprentissage efficace pour les réseaux à plusieurs couches. Comment ajuster les poids de milliers de connexions pour qu'un réseau produise la bonne réponse ? La solution s'appelle la rétropropagation du gradient (backpropagation), et sa popularisation compte parmi les contributions les plus conséquentes de Geoffrey Hinton.

Le principe est étonnamment intuitif. Un réseau multicouche reçoit une entrée — par exemple une image — et produit une sortie, parfois erronée. L'algorithme mesure l'écart entre la prédiction et la réponse attendue, puis remonte cette erreur couche par couche, de la sortie vers l'entrée, en calculant pour chaque connexion sa part de responsabilité dans l'erreur globale. Chaque poids est alors légèrement ajusté dans la direction qui réduit l'erreur. Répétez ce processus des milliers de fois sur des milliers d'exemples, et le réseau apprend.

Rumelhart, Hinton et Williams (1986)

L'idée de la rétropropagation n'est pas entièrement nouvelle en 1986. Le mathématicien finlandais Seppo Linnainmaa avait formulé la différenciation automatique en 1970, et Paul Werbos l'avait appliquée aux réseaux de neurones dans sa thèse en 1974. Mais c'est l'article de David Rumelhart, Geoffrey Hinton et Ronald Williams, publié dans Nature en 1986 sous le titre « Learning representations by back-propagating errors » (vol. 323, p. 533-536), qui a rendu la technique claire, accessible et utilisable par la communauté scientifique.

La contribution de ce trio n'est pas seulement algorithmique. Leur article démontre que la rétropropagation permet aux couches cachées d'un réseau de découvrir des représentations internes utiles — des « concepts » intermédiaires que personne n'a programmés explicitement. Le réseau apprend non seulement à classer, mais à construire sa propre représentation du problème. Comme le soulignent les auteurs eux-mêmes, c'est cette capacité à créer de nouvelles caractéristiques qui distingue la rétropropagation des méthodes plus simples qui l'ont précédée, comme la règle de convergence du perceptron. Cette faculté d'apprendre des représentations est aujourd'hui au cœur de tous les modèles d'IA moderne, des réseaux convolutifs aux transformers.

Un réseau qui apprend ses propres représentations, sans qu'on les lui dicte, voilà l'idée qui transforme un simple classifieur en machine à découvrir des structures. Tout le deep learning découle de là.

Une image pour comprendre : l'enfant qui apprend à viser

Pour saisir la rétropropagation intuitivement, pensez à un enfant qui apprend à lancer une balle dans un panier. Au début, la balle tombe loin de la cible. L'enfant observe l'écart, puis ajuste sa posture, la force de son bras, l'angle de son poignet. À chaque essai, il corrige un peu. Après des centaines de lancers, le geste devient précis.

Dans un réseau de neurones, le « bras » est composé de milliers de connexions pondérées. La rétropropagation est le mécanisme qui, à chaque passage d'un exemple d'entraînement, identifie quelles connexions ont contribué à l'erreur et dans quelle proportion, puis les ajuste. La différence avec l'enfant tient à l'échelle : un réseau moderne ajuste des milliards de paramètres à la fois, à raison de milliers d'exemples par seconde. Mais le principe reste le même : apprendre, c'est corriger ses erreurs méthodiquement.

La longue traversée : les hivers de l'IA (1990-2010)

Pourquoi les réseaux profonds ne tenaient pas leurs promesses

Malgré la rétropropagation, les réseaux de neurones profonds progressent lentement dans la pratique des années 1990. Plusieurs obstacles techniques semblent alors difficiles à surmonter :

• Le gradient qui s'évanouit (vanishing gradient) : dans un réseau à nombreuses couches, le signal d'erreur rétropropagé s'affaiblit à chaque couche traversée. Les premières couches n'apprennent presque rien.
• Le surapprentissage (overfitting) : les réseaux mémorisent les données d'entraînement au lieu de généraliser. Ils reconnaissent les exemples vus, mais trébuchent sur des données nouvelles.
• Le manque de données : les jeux de données disponibles dans les années 1990 sont minuscules par rapport aux standards actuels. Quelques milliers d'exemples, là où il en faudrait des millions.
• Le manque de puissance de calcul : entraîner un réseau profond sur un processeur des années 1990 prenait des semaines. Le rapport entre coût et résultat décourageait les efforts.

Face à ces limites, la communauté se tourne vers d'autres méthodes d'apprentissage automatique. Dans les années 1990, les machines à vecteurs de support (SVM) de Vladimir Vapnik deviennent la méthode de référence. Elles offrent des garanties théoriques de généralisation que les réseaux de neurones n'avaient pas, s'entraînent plus facilement, demandent moins de données et produisent de meilleurs résultats sur la plupart des tests de l'époque. Les forêts aléatoires, le boosting et les méthodes bayésiennes complètent l'arsenal du chercheur.

La poignée de chercheurs qui ont tenu bon

Pour un doctorant des années 2000, choisir les réseaux de neurones comme sujet de thèse est un pari risqué. Les comités des grandes conférences privilégient les méthodes aux fondements théoriques solides. Hinton raconte que des articles étaient parfois rejetés au seul motif que l'approche était jugée d'emblée dépassée, sans même que les résultats expérimentaux soient examinés. En 2005, quand il présente ses premiers travaux sur les deep belief networks, la salle est clairsemée.

Pendant cette période, un petit groupe continue néanmoins. Hinton à Toronto, Yann LeCun aux Bell Labs puis à NYU, et Yoshua Bengio à l'université de Montréal forment un trio informel que l'on appellera plus tard les « parrains du deep learning ». Leur conviction commune : les méthodes statistiques classiques ne pourront pas capturer, à elles seules, la richesse représentationnelle du cerveau. Il faut des couches. Beaucoup de couches.

En 2006, Hinton publie un article qui relance tout. Il propose une méthode de pré-entraînement non supervisé utilisant des machines de Boltzmann restreintes empilées, suivie d'un ajustement par rétropropagation classique. Cette technique contourne le problème du gradient qui s'évanouit : au lieu d'initialiser les poids au hasard — ce qui condamnait les couches profondes à ne rien apprendre —, on les initialise avec des valeurs « intelligentes » trouvées par le pré-entraînement. Le résultat : un réseau profond qui apprend efficacement. L'article, « A Fast Learning Algorithm for Deep Belief Nets », paru dans Neural Computation, ne fait pas la une. Mais il circule dans le petit cercle des spécialistes. Bengio à Montréal et LeCun à NYU reproduisent et étendent les résultats. Les réseaux profonds recommencent à fonctionner. Et les processeurs graphiques, dont la puissance progresse rapidement, vont bientôt leur donner les moyens de leurs ambitions.

AlexNet et le grand basculement (2012)

ImageNet, le terrain d'épreuve

L'ImageNet Large Scale Visual Recognition Challenge (ILSVRC) est une compétition annuelle lancée en 2010 à l'initiative de la chercheuse Fei-Fei Li, de Stanford. Le défi : classer automatiquement 1,2 million d'images dans 1 000 catégories — des races de chiens aux modèles de véhicules, des espèces de fleurs aux types d'objets. En 2010 et 2011, les meilleures méthodes, fondées sur des descripteurs visuels conçus à la main combinés à des SVM, atteignaient un taux d'erreur top-5 d'environ 26 % à 28 % (28,2 % pour le vainqueur de 2010, 25,7 % pour celui de 2011, selon les résultats officiels du challenge ILSVRC). Un résultat respectable, mais qui plafonnait.

ImageNet réunit alors tous les ingrédients pour tester les réseaux profonds : un jeu de données immense, bien plus vaste que tout ce qui existait, et des processeurs graphiques offrant enfin la puissance nécessaire. Il ne manquait plus qu'une équipe pour assembler le puzzle.

Krizhevsky, Sutskever, Hinton

En 2012, Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton soumettent leur solution au challenge. Leur modèle, rapidement baptisé AlexNet, est un réseau de neurones convolutif profond : huit couches — cinq convolutives et trois entièrement connectées —, environ 60 millions de paramètres, entraîné sur deux processeurs graphiques Nvidia GTX 580. Le résultat dépasse les attentes : un taux d'erreur top-5 de 15,3 %, contre 26,2 % pour le deuxième concurrent, soit près de 11 points d'écart.

Édition ImageNet	Meilleure approche	Erreur top-5
2011	Descripteurs manuels + SVM	≈ 26 %
2012	AlexNet (CNN profond, GPU)	15,3 %
2012 (2ᵉ)	Méthode classique	26,2 %
2015	ResNet (152 couches)	≈ 3,6 %

L'écart est tel qu'il ne s'agit pas d'une amélioration incrémentale, mais d'un changement de méthode. L'article AlexNet introduit plusieurs innovations qui deviendront des standards : la fonction d'activation ReLU, plus rapide que le sigmoïde ; le dropout comme technique de régularisation ; et l'entraînement sur processeur graphique. Mais l'enseignement de fond est plus profond : la profondeur fonctionne. Plus de couches signifie de meilleures représentations, à condition de disposer d'assez de données et de puissance de calcul.

Une onde qui traverse toute la discipline

L'impact d'AlexNet dépasse la seule compétition. En quelques mois, des laboratoires du monde entier adoptent les réseaux convolutifs profonds. Les publications sur le deep learning se multiplient. Les grandes entreprises technologiques engagent une course aux talents. Le laboratoire de Hinton à Toronto devient une pépinière : ses anciens élèves dirigeront plus tard des équipes de recherche parmi les plus influentes de la discipline. Ilya Sutskever, coauteur d'AlexNet, cofondera plus tard OpenAI.

Le succès d'AlexNet valide une conviction que Hinton portait depuis trente ans : la représentation hiérarchique. Un réseau profond n'apprend pas directement à reconnaître un chat. Il apprend, couche après couche, des représentations de plus en plus abstraites : des bords dans les premières couches, des textures ensuite, des parties d'objets dans les couches intermédiaires, et finalement le concept global dans les dernières couches. Cette décomposition rappelle celle qu'effectue le cortex visuel. Le cerveau apprend par couches, et les machines pouvaient le faire aussi.

Du deep learning à l'IA générative : la lignée directe

Des réseaux convolutifs aux transformers

Après AlexNet, les architectures évoluent rapidement, chacune ajoutant une pièce au puzzle. Les réseaux convolutifs s'approfondissent : VGGNet (19 couches, 2014), GoogLeNet, puis ResNet (152 couches, 2015), qui introduit les connexions résiduelles pour atténuer durablement le problème du gradient qui s'évanouit. En 2015, le taux d'erreur top-5 sur ImageNet tombe autour de 3,6 %.

En parallèle, les réseaux récurrents et leurs variantes LSTM (Long Short-Term Memory, proposés par Sepp Hochreiter et Jürgen Schmidhuber en 1997) sont adoptés pour les séquences : traduction automatique, reconnaissance vocale, génération de texte. En 2014, Ian Goodfellow — formé notamment auprès de Hinton et Bengio — invente les réseaux antagonistes génératifs (GAN), capables de produire des images à partir de bruit aléatoire.

Le tournant survient en 2017 avec l'article « Attention Is All You Need », publié par une équipe de Google. Le transformer, fondé uniquement sur des mécanismes d'attention, sans convolution ni récurrence, s'avère massivement parallélisable et capable de traiter de longues séquences. Le mécanisme d'attention lui-même a un air de famille avec les travaux fondateurs : il calcule des poids de connexion dynamiques entre tous les éléments d'une séquence, une forme de pondération qui rappelle le réseau de Hopfield, où chaque neurone influence tous les autres selon la force de leur lien.

GPT, BERT, modèles de diffusion : les héritiers

Le transformer devient le socle de GPT, de BERT, puis des grands modèles de langage actuels. La progression d'échelle est impressionnante : GPT-1 comptait 117 millions de paramètres en 2018, GPT-3 en contenait 175 milliards en 2020, et les modèles les plus récents dépassent le millier de milliards. Chaque avancée repose pourtant sur les mêmes principes : rétropropagation, descente de gradient, apprentissage de représentations. Simplement appliqués à une échelle que ni Hopfield ni Hinton n'auraient pu imaginer dans les années 1980.

Chacun des grands modèles génératifs porte l'empreinte de cette lignée :

• Les modèles de langage (GPT, et leurs pairs) utilisent la rétropropagation pour ajuster des milliards de paramètres, l'architecture transformer fondée sur l'attention, et un pré-entraînement non supervisé à grande échelle — une idée que Hinton avait popularisée avec les deep belief networks en 2006.
• Les modèles à masquage comme BERT s'entraînent à prédire un mot caché dans une phrase, ce qui est conceptuellement proche de la mémoire associative de Hopfield : compléter un motif à partir d'un fragment.
• Les modèles de diffusion (à l'origine d'outils de génération d'images) reposent sur des processus stochastiques d'ajout et de suppression de bruit qui rappellent la dynamique des machines de Boltzmann. Le bruit aléatoire se transforme progressivement en image cohérente, comme un système physique qui se refroidit vers un état ordonné.

La filiation est directe et documentée. Le réseau de Hopfield a montré que l'information peut être stockée dans les connexions. Hinton a montré comment ajuster ces connexions par apprentissage. Le transformer a généralisé ces principes à une échelle nouvelle. La chaîne est continue, chaque génération héritant des concepts de la précédente.

Une frise : quatre-vingts ans de fondations

Avant de conclure, un regard synoptique sur les décennies qui séparent le premier neurone formel du Nobel 2024. Chaque étape s'appuie sur les précédentes.

Année	Jalon	Auteurs	Apport
1943	Neurone formel	McCulloch, Pitts	Première modélisation mathématique du neurone
1958	Perceptron	Rosenblatt	Premier neurone capable d'apprendre par ajustement de poids
1969	Perceptrons (livre)	Minsky, Papert	Limites du perceptron simple ; premier retrait des réseaux
1982	Réseau de Hopfield	Hopfield	Mémoire associative fondée sur le modèle d'Ising
1985	Machine de Boltzmann	Ackley, Hinton, Sejnowski	Apprentissage stochastique inspiré de la thermodynamique
1986	Rétropropagation	Rumelhart, Hinton, Williams	Apprentissage efficace des réseaux multicouches
1989	LeNet (CNN)	LeCun	Convolutions pour la reconnaissance de chiffres
1997	LSTM	Hochreiter, Schmidhuber	Réseaux récurrents pour les séquences longues
2006	Deep belief networks	Hinton	Pré-entraînement non supervisé ; regain du deep learning
2012	AlexNet	Krizhevsky, Sutskever, Hinton	Victoire nette sur ImageNet ; le deep learning s'impose
2017	Transformer	Vaswani et al.	Architecture fondée sur l'attention ; socle des LLM
2024	Nobel de physique	Hopfield, Hinton	Reconnaissance des fondations de l'IA moderne

Ce que ce Nobel signifie pour la science

Des frontières disciplinaires poreuses

Le Nobel de physique 2024 a ouvert un débat stimulant sur les frontières entre disciplines. Certains y voient une définition trop large de la physique ; d'autres, la reconnaissance d'une réalité profonde : les avancées les plus fécondes naissent souvent à l'intersection de la physique, des mathématiques, de l'informatique et de la biologie. Le signal envoyé par l'Académie a été renforcé dès le lendemain par le prix Nobel de chimie 2024, attribué à David Baker pour la conception de protéines par ordinateur, et à Demis Hassabis et John Jumper, de Google DeepMind, pour AlphaFold, le système qui prédit la structure tridimensionnelle des protéines. Deux prix Nobel consécutifs récompensant des travaux liés à l'IA : un message clair sur le rôle transformateur de ces méthodes dans la science contemporaine.

Ce dialogue entre disciplines fonctionne dans les deux sens. La physique a rendu possibles les réseaux de neurones ; en retour, l'IA ouvre de nouvelles perspectives à la physique et à la biologie, de la prédiction de structures protéiques à la simulation de systèmes complexes. La boucle de rétroaction entre les deux mondes est plus vivante que jamais.

Une place de choix pour la recherche francophone

Pour la communauté francophone de l'IA, ce Nobel est une source d'inspiration. Yoshua Bengio, professeur à l'université de Montréal et colauréat du prix Turing 2018 avec Hinton et LeCun, travaille au Québec, un écosystème francophone qui a joué un rôle central dans le développement du deep learning. Yann LeCun, français d'origine, a occupé des fonctions de premier plan dans la recherche en IA. En France, des laboratoires comme l'INRIA, le CNRS ou l'Université Paris-Saclay comptent parmi les plus productifs, et plusieurs jeunes entreprises françaises contribuent au paysage mondial de l'IA générative. Ce Nobel rappelle que les fondations sur lesquelles repose toute cette activité sont, à leur racine, celles de la physique théorique et expérimentale.

Les prochaines frontières

Le Nobel 2024 ne marque pas un aboutissement mais un jalon. Plusieurs pistes de recherche prolongent directement les travaux de Hopfield et Hinton :

• Les réseaux de Hopfield modernes : des versions récentes du modèle offrent une capacité de stockage bien supérieure à l'original et présentent des liens étroits avec les mécanismes d'attention des transformers — bouclant la boucle entre physique et IA générative.
• Le calcul neuromorphique : des puces spécialisées implémentent des réseaux de neurones directement dans le matériel, s'inspirant de la dynamique physique des réseaux de Hopfield pour un calcul à très basse consommation.
• L'apprentissage auto-supervisé : la lignée directe du pré-entraînement non supervisé de Hinton. Les modèles de fondation apprennent d'abord à partir de données non étiquetées, puis sont ajustés pour des tâches précises — exactement le paradigme initié en 2006.
• La physique de l'apprentissage : un champ émergent qui mobilise les outils de la physique statistique pour comprendre pourquoi les réseaux profonds généralisent si bien. Pourquoi la descente de gradient trouve-t-elle de bonnes solutions dans un paysage d'énergie à des milliards de dimensions ? Ces questions, longtemps reléguées derrière l'ingénierie empirique, gagnent une nouvelle légitimité.

Deux voix mesurées

Les deux lauréats portent aujourd'hui un regard lucide sur leurs travaux. En mai 2023, Geoffrey Hinton a quitté Google afin de pouvoir s'exprimer plus librement sur la trajectoire de l'IA. Sa posture n'est pas celle d'un adversaire de la technologie : c'est celle d'un scientifique qui mesure la puissance des outils qu'il a contribué à créer et qui invite à les déployer avec discernement, en portant une attention particulière à la qualité de l'information, à la répartition des capacités et aux cadres de gouvernance. John Hopfield, de son côté, observe que l'IA actuelle s'est éloignée des modèles physiques qui l'ont inspirée, et invite à ne pas perdre de vue les questions fondamentales sur la nature de l'intelligence et de l'apprentissage. Deux voix mesurées, qui rappellent que la réflexion sur les usages accompagne, et non contredit, l'émerveillement scientifique.

Les racines profondes de l'IA moderne

L'histoire des réseaux de neurones n'est pas celle d'une rupture soudaine, mais d'une construction patiente, couche après couche — au sens propre comme au figuré. McCulloch et Pitts ont posé la première brique en 1943. Rosenblatt a ajouté l'apprentissage en 1958. Hopfield a apporté la physique statistique et la mémoire associative en 1982. Hinton a contribué à la machine de Boltzmann, à la rétropropagation et au deep learning entre 1985 et 2012. Le transformer a propulsé ces fondations à l'échelle planétaire en 2017. Chaque avancée s'est appuyée sur les précédentes, formant un arc continu de huit décennies.

Trois enseignements se dégagent. Le premier est la fécondité de l'interdisciplinarité : le réseau de Hopfield, la machine de Boltzmann, le recuit simulé sont nés au croisement de la physique et de l'informatique. Aucune des deux disciplines, prise isolément, n'aurait produit ces résultats. Le deuxième est la valeur de la persévérance : pendant des années, travailler sur les réseaux de neurones était jugé peu prometteur par la majorité. Hopfield, Hinton, LeCun et Bengio ont continué. Le troisième est l'importance des fondations théoriques : les modèles génératifs d'aujourd'hui, aussi spectaculaires soient-ils, reposent sur des principes formulés il y a quarante ans. Sans les fonctions d'énergie de Hopfield, sans le formalisme probabiliste des machines de Boltzmann, l'IA générative telle que nous la connaissons n'existerait pas sous cette forme.

Le Nobel de physique 2024 ne récompense pas seulement deux personnes. Il reconnaît une méthode : celle de la physique, capable de formaliser des phénomènes biologiques — le cerveau — en modèles mathématiques — les réseaux de neurones — qui, à leur tour, transforment des pans entiers de la science et de la technologie. Les modèles que nous utilisons aujourd'hui pour écrire, créer, analyser, traduire ou coder sont les héritiers directs de deux articles de physique rédigés dans les années 1980.

Comprendre cette généalogie, c'est comprendre que l'intelligence artificielle n'est pas apparue de nulle part. Elle est le fruit d'un effort scientifique collectif, patient et visionnaire. Elle rappelle aussi une chose précieuse : les technologies les plus fécondes ne naissent pas dans l'urgence, mais dans la patience de la recherche fondamentale. C'est cette patience que le comité Nobel a choisi de célébrer en octobre 2024. Et c'est elle qui continuera de nourrir les avancées de demain.

Sources

Cet article s'appuie sur des sources publiques et vérifiables :

• Comité Nobel, « The Nobel Prize in Physics 2024 » (communiqué officiel, Hopfield et Hinton) — nobelprize.org.
• J. J. Hopfield, « Neural networks and physical systems with emergent collective computational abilities », PNAS, vol. 79(8), 1982, p. 2554-2558 — pnas.org.
• D. Rumelhart, G. Hinton, R. Williams, « Learning representations by back-propagating errors », Nature, vol. 323, 1986, p. 533-536 — nature.com.
• D. Ackley, G. Hinton, T. Sejnowski, « A Learning Algorithm for Boltzmann Machines », Cognitive Science, vol. 9, 1985, p. 147-169 — onlinelibrary.wiley.com.
• A. Krizhevsky, I. Sutskever, G. Hinton, « ImageNet Classification with Deep Convolutional Neural Networks » (AlexNet, 2012) — proceedings.neurips.cc.
• Comité Nobel, « The Nobel Prize in Chemistry 2024 » (Baker, Hassabis, Jumper — AlphaFold) — nobelprize.org.
• Physics World, « John Hopfield and Geoffrey Hinton share the 2024 Nobel Prize for Physics » — physicsworld.com.