La distillation qui rétrécit l'écart : décryptage d'une technique clé

Posons d'emblée la distinction qui va organiser toute cette lecture, parce qu'elle décide de tout le reste. Le fait est ancien, documenté et vérifiable : en 2015, trois chercheurs de Google — Geoffrey Hinton, Oriol Vinyals et Jeff Dean — ont publié un article intitulé « Distilling the Knowledge in a Neural Network », qui a posé les bases d'une technique aujourd'hui centrale, la distillation de connaissances. L'idée tient en une phrase : entraîner un petit modèle à imiter les sorties d'un grand, plutôt qu'à réapprendre le monde à partir de zéro. Dix ans plus tard, ce mécanisme discret s'est retrouvé au cœur de l'un des épisodes les plus commentés de l'histoire récente de l'intelligence artificielle, avec la sortie des modèles distillés de DeepSeek-R1. La lecture que nous proposons ici, en revanche, n'est pas un communiqué : c'est une grille d'analyse. On peut lire la distillation comme la technique qui, plus que toute autre, a rétréci la marche de performance entre les modèles de pointe et les modèles compacts, et de ce fait élargi l'accès à des capacités jusque-là réservées aux plus gros systèmes.

Cette précaution mérite d'être tenue d'un bout à l'autre, car le sujet mêle un mécanisme technique précis à un débat qui, lui, est mouvant et pour partie juridique. Nous voulons séparer soigneusement les deux registres. Chaque élément technique — l'origine de la méthode, son principe, les chiffres de performance cités — est sourcé en fin de page, à partir des articles de recherche eux-mêmes ou de la documentation officielle des laboratoires concernés. Chaque interprétation stratégique, elle, est signalée comme telle : « on peut lire », « cela suggère », « une lecture possible ». Quant aux différends autour des conditions d'usage, nous les rapportons de façon strictement factuelle, sans trancher un débat que les tribunaux n'ont pas tranché.

Pourquoi la distillation comme objet d'analyse, et pourquoi maintenant ? Parce qu'elle illustre une dynamique de fond du secteur : la diffusion des capacités. Pendant des années, le progrès de l'intelligence artificielle a semblé indexé sur une seule variable, la taille — davantage de paramètres, davantage de données, davantage de puissance de calcul. La distillation raconte une histoire complémentaire, et à certains égards inverse : celle d'une compression des acquis, où ce qu'un très grand modèle a appris se transmet à un modèle bien plus léger, moins coûteux à faire tourner et plus facile à déployer. Comprendre ce mécanisme, c'est comprendre l'un des ressorts par lesquels les progrès du sommet redescendent vers l'ensemble de l'écosystème.

Le constat : une idée de 2015 devenue technique de base

Commençons par le socle établi, sans interprétation. L'article fondateur porte une date précise : il est déposé en mars 2015 par Geoffrey Hinton, Oriol Vinyals et Jeff Dean, sous le titre « Distilling the Knowledge in a Neural Network ». Hinton n'est pas un auteur anodin dans ce domaine : figure majeure de l'apprentissage profond, il a contribué à plusieurs des avancées qui ont relancé les réseaux de neurones à partir des années 2010. L'article ne sort donc pas de nulle part ; il formalise et généralise une intuition qui circulait déjà, celle du transfert de « connaissance » d'un modèle vers un autre.

Le problème que les trois chercheurs cherchent à résoudre est concret. Les meilleurs résultats de l'époque s'obtenaient souvent avec des ensembles de modèles — plusieurs réseaux entraînés séparément, dont on moyennait les prédictions. Ces ensembles étaient précis, mais lourds et lents à l'usage, ce qui les rendait peu commodes à déployer sur un service réel, par exemple un système de reconnaissance vocale sur téléphone. La question posée par l'article était la suivante : peut-on transférer le savoir d'un grand modèle, ou d'un ensemble de modèles, vers un modèle unique et plus petit, sans perdre l'essentiel de la performance ?

Le principe : apprendre des « cibles douces »

La réponse tient dans une observation subtile. Quand un réseau de classification traite une image, il ne se contente pas de désigner la bonne catégorie ; il produit une distribution de probabilités sur toutes les catégories possibles. Face à la photo d'un chien, il attribuera une probabilité élevée à « chien », mais aussi de petites probabilités à « loup » ou « chat », et des probabilités quasi nulles à « voiture » ou « bateau ». Ces valeurs résiduelles, apparemment insignifiantes, encodent une information précieuse : elles disent quelles catégories le modèle juge proches les unes des autres. Hinton a proposé un nom imagé pour cette information cachée dans les décimales : la « connaissance sombre », ce que le modèle a appris sans qu'on le lui ait explicitement demandé.

La distillation consiste alors à entraîner le petit modèle — le « modèle étudiant » — non pas seulement sur les bonnes réponses brutes, mais sur ces distributions complètes produites par le grand modèle — le « modèle enseignant ». Ces distributions sont appelées « cibles douces », par opposition aux « cibles dures » que sont les étiquettes tranchées du type « c'est un chien, point ». Pour rendre l'information résiduelle plus lisible, l'article introduit un paramètre de « température » appliqué à la fonction softmax : en l'augmentant, on aplatit la distribution de probabilités, ce qui fait ressortir les petites valeurs et rend plus visibles les similarités entre catégories que l'enseignant a apprises.

À retenir — Les « cibles douces » ne sont pas du bruit : elles encodent quelles catégories se ressemblent. Un modèle qui classe un chien attribue aussi une faible probabilité au « loup » et au « chat » — cette hiérarchie résiduelle, invisible dans une étiquette tranchée, est le véritable savoir que la distillation cherche à transmettre. Hinton l'a baptisée la « connaissance sombre ».

Simulateur : effet de la température sur les cibles douces

Faites glisser le curseur pour ajuster la température T du softmax. Observez comment la distribution de probabilités évolue : à basse température, seul « chien » reste visible ; à haute température, les proximités (loup, chat) émergent — c'est cette information résiduelle que la distillation transmet à l'étudiant.

Température T = 1,0

Un grand modèle et un petit modèle peuvent atteindre des performances comparables si l'on transfère au second non pas seulement les réponses correctes, mais la structure fine des probabilités que le premier a appris à produire. — Reformulation de l'intuition centrale de l'article de Hinton, Vinyals et Dean (2015).

L'étudiant optimise deux pertes simultanément : la divergence KL qui le rapproche de l'enseignant, et la perte classique sur les étiquettes réelles. C'est cette double contrainte qui transfère efficacement le savoir.

Sur le plan technique, l'entraînement combine deux objectifs. L'étudiant apprend d'un côté à reproduire la distribution de l'enseignant — on minimise l'écart entre les deux distributions, mesuré par une divergence dite de Kullback-Leibler — et de l'autre à donner les bonnes réponses au regard des étiquettes réelles. C'est la combinaison des deux qui fonctionne le mieux. L'article démontrait l'efficacité de cette approche sur des tâches de l'époque, dont la reconnaissance de chiffres manuscrits et un système de reconnaissance vocale : le modèle compact récupérait une large part de l'avance de l'ensemble volumineux, pour une fraction du coût d'exécution.

Un détail de l'article mérite d'être souligné, car il éclaire pourquoi la méthode fonctionne. Hinton et ses coauteurs ont montré qu'une image de chiffre « 2 » manuscrit dont l'enseignant attribuait, à côté de la bonne réponse, une petite probabilité au « 3 » transmettait une information géométrique réelle : ce « 2 »-là ressemblait un peu à un « 3 ». Cette ressemblance, invisible dans une étiquette tranchée, devient un signal d'apprentissage dès lors qu'on la conserve. Le réglage de la température sert justement à doser combien de cette information résiduelle on transmet : trop faible, on perd les nuances ; trop élevée, on brouille le signal utile. Le bon compromis, ajusté empiriquement, est ce qui permet à un modèle réduit d'absorber une part substantielle du savoir de l'enseignant sans se noyer dans le bruit.

Une méthode parmi les techniques de compression

Pour situer la distillation, il faut la replacer dans la famille plus large des méthodes de compression de modèles, avec lesquelles elle se combine souvent. On en distingue généralement trois grandes. L'élagage consiste à supprimer les connexions ou les neurones qui contribuent le moins à la prédiction, un peu comme on taille les branches mortes d'un arbre. La quantification réduit la précision numérique avec laquelle les paramètres sont stockés — par exemple en passant de nombres à haute précision à des représentations plus compactes — ce qui allège la mémoire et accélère les calculs. La distillation, elle, ne modifie pas un modèle existant : elle en construit un nouveau, plus petit, en lui transmettant le savoir d'un grand.

Les trois méthodes sont complémentaires : un modèle peut être distillé, puis quantifié, puis élagué.

Ces trois approches ne s'opposent pas ; elles se cumulent volontiers. Un modèle peut être d'abord distillé, puis quantifié pour être déployé sur un appareil aux ressources limitées. Ce qui distingue la distillation, et fait sa singularité, c'est qu'elle transmet une forme de savoir plutôt qu'elle ne rogne une structure existante. C'est cette qualité qui la rend particulièrement adaptée au transfert de compétences complexes comme le raisonnement, là où l'élagage et la quantification visent surtout à préserver une performance déjà acquise en la rendant moins coûteuse.

De la vision par ordinateur aux grands modèles de langage

Pendant plusieurs années, la distillation est restée une technique parmi d'autres du répertoire de la compression de modèles, aux côtés de l'élagage — retirer les connexions les moins utiles — et de la quantification — coder les paramètres avec moins de précision numérique. Elle a servi surtout à rendre des modèles de vision et de traitement du langage exploitables sur des appareils aux ressources limitées. On la retrouve, sous une forme ou une autre, dans la lignée des versions allégées de nombreux modèles : les déclinaisons compactes de familles connues, souvent identifiables à un suffixe évoquant leur taille réduite, doivent beaucoup à ces méthodes de transfert.

Le basculement, sur le plan de l'attention publique, s'est produit avec les grands modèles de langage capables de raisonner. C'est là que la distillation a cessé d'être un sujet d'ingénieurs pour devenir un sujet de première page. La raison est simple : appliquée à des capacités aussi valorisées que le raisonnement mathématique ou la génération de code, elle a montré qu'un modèle compact pouvait s'approcher, sur des épreuves précises, de systèmes bien plus imposants. C'est cette démonstration qu'ont apportée, de la façon la plus spectaculaire, les modèles distillés de DeepSeek.

DeepSeek-R1 : la distillation passe à l'échelle du raisonnement

Entrons dans le cas récent le mieux documenté. En janvier 2025, le laboratoire chinois DeepSeek a publié un article de recherche décrivant DeepSeek-R1, un modèle conçu pour raisonner, c'est-à-dire pour dérouler des étapes intermédiaires avant de répondre. Ce travail a connu une trajectoire inhabituelle pour le domaine : après sa mise en ligne initiale, il a fait l'objet d'une évaluation par les pairs et a été publié dans la revue Nature en septembre 2025, faisant de DeepSeek-R1 l'un des premiers grands modèles de langage à franchir ce filtre scientifique reconnu. Cet élément est notable en soi : il signale que la communauté de recherche a jugé les résultats suffisamment sérieux pour les soumettre au même examen que d'autres travaux scientifiques.

Le cœur de l'article ne porte pas d'abord sur la distillation : il décrit surtout comment le modèle enseignant, DeepSeek-R1, a acquis ses capacités de raisonnement en grande partie par apprentissage par renforcement, une méthode où le modèle est récompensé pour ses bonnes réponses et développe, au fil de l'entraînement, des comportements comme la vérification de ses propres étapes. Mais l'article comporte un second volet, et c'est celui qui nous intéresse : les auteurs ont ensuite utilisé ce grand modèle comme enseignant pour distiller ses capacités vers une série de modèles beaucoup plus petits.

Le protocole : 800 000 traces de raisonnement

Le mécanisme est une variante de l'idée de 2015, adaptée au langage. Plutôt que de transmettre des distributions de probabilités sur des catégories d'images, DeepSeek a généré, à l'aide du modèle enseignant, un grand corpus de démonstrations de raisonnement : d'après l'article, de l'ordre de 800 000 exemples, filtrés pour leur exactitude, leur format et leur lisibilité. Ces traces — la manière dont l'enseignant décompose et résout un problème — ont ensuite servi à affiner par apprentissage supervisé des modèles compacts existants, issus de deux familles ouvertes bien connues, sans réappliquer à ces petits modèles la lourde phase d'apprentissage par renforcement du modèle enseignant.

Les cibles de cette distillation couvrent une gamme de tailles : côté première famille, des modèles de 1,5, 7, 14 et 32 milliards de paramètres ; côté seconde famille, des modèles de 8 et 70 milliards. L'ensemble a été diffusé en accès ouvert, ce qui a permis à la communauté de vérifier et de reprendre ces modèles. Ce point de méthode compte pour notre lecture : la vérifiabilité des résultats, ici, ne repose pas seulement sur la parole du laboratoire, mais sur la mise à disposition des poids des modèles.

Les chiffres : un petit modèle qui joue dans la cour des grands

Venons-en aux résultats mesurés, en distinguant nettement les chiffres de leur interprétation. Sur l'épreuve de mathématiques AIME 2024, un concours réputé exigeant, le modèle distillé de 32 milliards de paramètres a obtenu un score de l'ordre de 72,6 % en première tentative ; sur l'épreuve MATH-500, environ 94,3 % ; sur une épreuve de code, LiveCodeBench, de l'ordre de 57,2 %. D'après l'article, ces résultats situent ce modèle compact au niveau, voire au-dessus, d'un modèle propriétaire de raisonnement de gamme intermédiaire de référence, tout en restant nettement plus léger. Plus frappant encore : la plus petite déclinaison, à 1,5 milliard de paramètres, dépassait sur certaines épreuves de mathématiques des modèles généralistes de premier plan bien plus volumineux.

Récapitulons ce socle chiffré dans un tableau, en rappelant que ces valeurs sont celles rapportées par les auteurs et qu'un score sur une épreuve donnée ne résume jamais la qualité globale d'un modèle.

Modèle distillé (DeepSeek-R1)	AIME 2024 (pass@1)	MATH-500	LiveCodeBench
Distill · 1,5 Md paramètres	~28,9 %	~83,9 %	—
Distill · 32 Md paramètres	~72,6 %	~94,3 %	~57,2 %

Sources : article DeepSeek-R1 (arXiv:2501.12948), version publiée dans Nature (vol. 645), et fiches modèles Hugging Face. Valeurs rapportées par les auteurs, en pourcentage de réussite ; « pass@1 » = réussite à la première tentative.

Un dernier résultat de l'article éclaire particulièrement notre angle, et il mérite d'être cité avec soin car il porte sur la méthode elle-même. Les auteurs ont comparé deux voies pour donner des capacités de raisonnement à un petit modèle : la distillation à partir d'un enseignant puissant, d'un côté ; l'apprentissage par renforcement appliqué directement au petit modèle, de l'autre. La distillation l'emporte nettement — l'article rapporte, sur un ensemble d'épreuves, une moyenne de l'ordre de 71,5 pour la voie distillée contre environ 58,5 pour la voie par renforcement direct — et pour un coût de calcul bien moindre. Autrement dit, il est souvent plus efficace de faire apprendre un petit modèle à partir des traces d'un grand que de tenter de lui faire redécouvrir seul les mêmes stratégies.

À retenir — À budget de calcul comparable, un petit modèle distillé surpasse nettement le même petit modèle entraîné par renforcement direct (≈ 71,5 contre ≈ 58,5 en moyenne sur les épreuves de l'article). Conclusion pratique : il est plus efficace d'apprendre les stratégies d'un maître que de les redécouvrir soi-même.

Ce résultat mérite qu'on s'y arrête, car il éclaire une intuition parfois contre-intuitive. On pourrait croire qu'un petit modèle, soumis au même entraînement intensif que le grand, finirait par acquérir les mêmes compétences. L'article suggère le contraire : à budget de calcul comparable, le petit modèle laissé seul plafonne à un niveau nettement inférieur. La compétence de raisonnement semble plus facile à imiter qu'à réinventer. Une lecture possible est que le grand modèle, en générant ses traces, a déjà fait le travail coûteux de découverte des bonnes stratégies ; le petit modèle n'a plus qu'à les apprendre, ce qui est un problème plus simple que de les trouver. Cette asymétrie entre découvrir et imiter est précisément ce qui donne à la distillation son efficacité, et ce qui la place au centre de la dynamique que nous cherchons à décrire.

La lecture : pourquoi la distillation rétrécit l'écart

Passons maintenant du constat à l'interprétation, en la signalant clairement comme telle. On peut lire ce résultat comme la confirmation empirique d'une intuition présente dès 2015 : apprendre en imitant un maître compétent est, pour un petit modèle, une voie plus courte que réinventer la compétence par soi-même. Trois raisons, présentées comme une grille de lecture et non comme des vérités établies, rendent cette efficacité intelligible.

Première raison : la richesse du signal d'apprentissage

La première tient à la nature de ce qui est transmis. Un petit modèle qui s'entraîne seul sur des données brutes ne reçoit qu'un signal pauvre : la bonne réponse, sans plus. Un modèle qui apprend d'un enseignant reçoit un signal bien plus riche : non seulement la réponse, mais le cheminement, les hésitations résolues, la structure du raisonnement. Dans le cas du langage, les traces de raisonnement générées par l'enseignant montrent explicitement comment décomposer un problème. On peut lire là une forme de pédagogie automatisée : l'enseignant ne donne pas seulement le résultat, il montre le travail, et c'est ce « montrer le travail » qui accélère l'apprentissage de l'étudiant.

Deuxième raison : l'économie de moyens

La deuxième raison est économique. Entraîner un modèle de pointe capable de raisonner suppose des ressources considérables : c'est le grand modèle enseignant qui absorbe l'essentiel de ce coût, une fois pour toutes. La distillation permet ensuite de récolter le fruit de cet investissement à un tarif bien inférieur, en produisant des modèles compacts qui héritent d'une partie de la compétence sans avoir eu à la conquérir. On peut lire cette asymétrie comme un levier de diffusion : le coût de la performance de pointe est concentré en amont, chez l'acteur qui construit l'enseignant, tandis que le bénéfice se répand en aval, vers tous ceux qui peuvent exploiter un modèle distillé plus modeste.

Coût d'entraînement — concentré sur le grand modèle enseignant, amorti une seule fois.
Coût d'exécution — fortement réduit avec un modèle compact, plus rapide et moins gourmand en mémoire.
Coût de déploiement — abaissé, car un petit modèle peut tourner sur du matériel plus modeste, parfois local.
Barrière d'accès — abaissée pour les équipes disposant de moyens limités, dès lors que le modèle distillé est diffusé en accès ouvert.

Troisième raison : l'effet de diffusion des capacités

La troisième raison est systémique. Chaque fois qu'un laboratoire diffuse un modèle distillé en accès ouvert, il met à disposition d'un large public une capacité qui, quelques mois plus tôt, exigeait un système coûteux. Le raisonnement mathématique de bon niveau, la génération de code, la synthèse complexe : ces aptitudes, longtemps l'apanage de quelques modèles au sommet, deviennent accessibles à des acteurs plus nombreux. On peut lire dans la distillation l'un des principaux mécanismes de cette redescente. Elle ne supprime pas l'avance des modèles de pointe — l'enseignant reste, par construction, au moins aussi bon que l'étudiant — mais elle réduit le délai et le coût avec lesquels cette avance devient un bien partagé.

On peut lire la distillation comme la courroie de transmission de l'écosystème : ce que le sommet apprend au prix fort finit, par ce mécanisme, par irriguer l'ensemble à moindre coût. — Lecture d'analyste, à distinguer d'une affirmation des laboratoires concernés.

La mise en perspective : la question des conditions d'usage

Cette dynamique de diffusion a une contrepartie, qui est devenue en 2025 l'objet d'un débat nourri. Abordons-le avec la plus grande prudence, car il touche à des questions juridiques non tranchées et à des différends entre entreprises. Notre rôle ici est de décrire les termes du débat, pas d'en désigner un vainqueur.

Distiller un modèle ouvert n'est pas distiller un modèle fermé

La première distinction à poser est celle-ci : la distillation ne pose pas les mêmes questions selon la nature du modèle enseignant. Quand un laboratoire distille son propre modèle, ou un modèle diffusé en accès ouvert dont la licence l'autorise, l'opération est parfaitement établie et relève de la pratique courante de la recherche. Les modèles distillés de DeepSeek à partir de familles ouvertes en sont un exemple : les poids de départ étaient publiquement accessibles, et l'ensemble a été rediffusé de la même manière.

La situation est différente lorsque le modèle enseignant est un système fermé, accessible uniquement via une interface payante. Dans ce cas, entraîner un modèle concurrent à partir des sorties de ce système peut entrer en tension avec les conditions d'utilisation fixées par son fournisseur. C'est précisément le point qui a nourri la controverse.

Ce que disent les conditions d'utilisation

Voici les faits, rapportés sans prise de position. Plusieurs fournisseurs de grands modèles propriétaires — parmi lesquels des acteurs américains de premier plan — incluent dans leurs conditions d'utilisation des clauses qui interdisent d'employer les sorties de leurs modèles pour entraîner des systèmes concurrents. Ce type de clause vise directement la distillation à partir d'un modèle fermé. Début 2025, à la suite de la sortie de DeepSeek-R1, l'un de ces fournisseurs a fait état de soupçons selon lesquels ses modèles auraient pu être utilisés de cette manière, et a indiqué vouloir renforcer ses protections. Le laboratoire chinois a, de son côté, contesté tout manquement. Le différend a par la suite pris une tournure institutionnelle, avec des échanges portés jusque devant des instances publiques.

Il importe de souligner ce que ces éléments établissent et ce qu'ils n'établissent pas. Ils établissent qu'un débat existe, que des conditions d'utilisation contiennent de telles clauses, et que des soupçons ont été exprimés publiquement. Ils n'établissent pas qu'une infraction ait été prouvée : à notre connaissance, aucune décision de justice n'a tranché la question de fond. Les analyses juridiques disponibles soulignent d'ailleurs la difficulté de l'exercice, entre le caractère récent de ces questions et les complications tenant à la dimension internationale. Une clause contractuelle et une violation prouvée sont deux choses distinctes, et il serait imprudent de confondre l'une avec l'autre.

Une tension de fond entre ouverture et protection

On peut lire, derrière ce différend particulier, une tension plus large qui traverse le secteur. D'un côté, la distillation participe d'un mouvement d'ouverture : elle diffuse les capacités, abaisse les barrières, permet à des équipes modestes de bâtir sur les acquis des plus grandes. De l'autre, les laboratoires qui investissent lourdement dans la construction des modèles de pointe cherchent, légitimement de leur point de vue, à protéger le fruit de cet investissement contre une réutilisation qu'ils jugent indue. Ces deux logiques ne sont pas également faciles à concilier, et le débat de 2025 en est une expression parmi d'autres. Le rappeler, c'est comprendre que la distillation n'est pas seulement une affaire technique : elle se situe au point de rencontre de la recherche ouverte, des modèles économiques et du droit, et c'est ce qui rend son étude si riche.

Ce qu'on peut en retenir, avec nuance

Au terme de ce parcours, quelques enseignements se dégagent, que nous formulons sans prétendre clore le sujet. Le premier est que la distillation n'est pas une nouveauté née en 2025 : c'est une idée de 2015, mûrie pendant dix ans, dont l'application au raisonnement des grands modèles de langage a révélé toute la portée. Attribuer à un seul laboratoire l'invention de la technique serait inexact ; ce qu'un laboratoire comme DeepSeek a démontré, c'est jusqu'où cette technique pouvait porter appliquée à des capacités de haut niveau.

Le deuxième enseignement porte sur la nature de la performance. Les chiffres impressionnants des modèles distillés — un modèle de 32 milliards de paramètres rivalisant, sur des épreuves ciblées, avec des systèmes bien plus imposants — sont réels et vérifiables, mais ils sont spécifiques. Un score élevé sur une épreuve de mathématiques ou de code ne signifie pas qu'un petit modèle égale un grand sur tout le spectre des usages. La distillation transfère efficacement des compétences ciblées ; elle ne clone pas l'intégralité d'un modèle. On peut donc parler d'un rétrécissement de l'écart sur des tâches précises, plus que d'une égalisation générale, et cette nuance est importante pour ne pas surinterpréter les résultats.

Le troisième enseignement est prospectif, et nous le formulons avec la retenue qui s'impose. Si la tendance observée se poursuit, la distillation continuera probablement de jouer un rôle de courroie de transmission, diffusant vers l'ensemble de l'écosystème les capacités d'abord acquises au sommet. Cela pourrait renforcer un écosystème à deux temps : quelques acteurs construisant les modèles enseignants les plus avancés, et une constellation bien plus large d'acteurs exploitant des modèles distillés adaptés à leurs besoins et à leurs moyens. Mais c'est une lecture, pas une prédiction : les équilibres du secteur dépendent de trop de variables — techniques, économiques, réglementaires — pour qu'on puisse en dessiner l'avenir avec assurance.

Reste une image simple pour clore. La distillation, telle que l'ont pensée Hinton et ses coauteurs, revient à faire tenir dans un flacon plus petit l'essentiel d'un savoir volumineux, en concentrant ce qui compte et en laissant de côté le superflu. Ce que l'histoire récente ajoute à cette image, c'est l'échelle : ce n'est plus un modèle de vision que l'on comprime, mais des capacités de raisonnement autrefois réservées aux plus grands systèmes. La marche entre le sommet et le reste ne disparaît pas ; elle devient, grâce à cette technique, plus courte à franchir. Et c'est peut-être là que réside son intérêt le plus durable : moins dans la prouesse d'un modèle particulier que dans le mécanisme, patient et cumulatif, par lequel les progrès de l'intelligence artificielle cessent d'être l'apanage de quelques-uns pour devenir un bien plus largement partagé.