Le 14 février 2019, un laboratoire de recherche californien publie un billet de blog qui va occuper les conversations bien au-delà du cercle des spécialistes. OpenAI y présente GPT-2, un modèle de langage capable de rédiger, à partir de quelques lignes, des paragraphes d'une cohérence saisissante. L'exemple qui fait le tour du monde met en scène un troupeau de licornes découvert dans une vallée reculée des Andes, décrit par le modèle avec le sérieux d'une dépêche d'agence. Le texte est fluide, structuré, presque crédible. Pour beaucoup de lecteurs, c'est la première fois qu'une machine écrit d'une manière que l'on peine à distinguer de la prose humaine. Derrière l'anecdote de la licorne, une avancée technique réelle se profile.
Cet article propose de comprendre ce qu'est réellement GPT-2, comment il fonctionne, et pourquoi son annonce marque un jalon dans l'histoire du traitement automatique du langage. Nous allons décortiquer son architecture, son jeu de données, ses résultats, mais aussi la stratégie de publication inhabituelle choisie par OpenAI. L'objectif est simple : dépasser l'effet de surprise pour saisir la portée d'une démonstration technique qui, aujourd'hui, redéfinit les attentes que l'on peut placer dans un modèle de langage.
Un mot de méthode d'abord. GPT-2 n'est pas apparu de nulle part. Il s'inscrit dans une lignée — la famille GPT, pour Generative Pre-trained Transformer — dont il constitue le deuxième jalon public. Comprendre GPT-2, c'est aussi comprendre l'idée qui le sous-tend : entraîner un modèle à une seule tâche très générale, prédire le mot suivant, et découvrir qu'il en résulte des capacités inattendues.
Un modèle qui prolonge la lignée GPT
Pour situer GPT-2, il faut remonter d'un cran. En juin 2018, OpenAI publiait le premier modèle de la série, désormais appelé GPT-1, accompagné d'un article intitulé « Improving Language Understanding by Generative Pre-Training ». L'idée directrice y était déjà posée : pré-entraîner un transformeur sur de vastes quantités de texte non annoté, puis l'affiner sur des tâches précises. GPT-2 reprend cette philosophie, mais franchit un cap en changeant d'échelle et en poussant plus loin une intuition audacieuse.
L'architecture de fond, elle, remonte à 2017. Cette année-là, un article de recherche intitulé « Attention Is All You Need » introduisait le transformeur, une architecture de réseau de neurones fondée entièrement sur un mécanisme dit d'attention. Contrairement aux réseaux récurrents qui traitaient le texte mot après mot, le transformeur pouvait considérer l'ensemble d'une séquence en parallèle et pondérer l'importance relative de chaque mot pour prédire le suivant. Cette conception s'est révélée particulièrement adaptée à la montée en échelle, et c'est sur elle que reposent GPT-1 comme GPT-2.
Le pari du pré-entraînement génératif
Le cœur de la démarche mérite d'être explicité, car il est contre-intuitif. Traditionnellement, pour qu'une machine apprenne à traduire, à résumer ou à répondre à des questions, on lui fournissait des milliers d'exemples annotés pour chaque tâche : des paires question-réponse, des couples texte-traduction, et ainsi de suite. Ce travail d'annotation est coûteux et lent.
La proposition de la lignée GPT est différente. On entraîne le modèle sur une seule tâche, extrêmement simple à formuler : étant donné une suite de mots, deviner le mot qui vient ensuite. Cette tâche ne demande aucune annotation humaine — le texte brut se suffit à lui-même, puisque la « bonne réponse » est simplement le mot qui suit réellement dans le document. En répétant cet exercice des milliards de fois sur des textes variés, le modèle finit par intégrer, presque incidemment, une masse de connaissances sur la grammaire, les faits du monde, les styles d'écriture et la logique des enchaînements.
GPT-2 pousse cette intuition à sa conclusion la plus ambitieuse. Son article de recherche, publié conjointement à l'annonce, s'intitule « Language Models are Unsupervised Multitask Learners » — les modèles de langage sont des apprenants multitâches non supervisés. Le titre résume la thèse : en apprenant seulement à prédire le mot suivant, sur un corpus assez vaste et assez varié, un modèle apprend implicitement à accomplir de nombreuses tâches sans qu'on les lui ait jamais enseignées explicitement.
La thèse de GPT-2 tient en une phrase : entraîner un modèle à la seule tâche de prédire le mot suivant, sur un corpus suffisamment vaste, fait émerger des compétences que personne ne lui a apprises directement.
L'architecture : un transformeur poussé en échelle
Sur le plan technique, GPT-2 n'introduit pas de rupture d'architecture spectaculaire par rapport à son prédécesseur. Sa force tient largement au changement d'échelle et à quelques ajustements soigneux. C'est là un enseignement en soi : parfois, faire grandir une idée éprouvée produit des résultats qualitativement nouveaux.
Un décodeur de transformeur
GPT-2 est un transformeur dit « décodeur seul » (decoder-only). Concrètement, cela signifie qu'il lit le texte de gauche à droite et génère le mot suivant en se fondant uniquement sur les mots qui précèdent. Cette contrainte, dite d'attention causale, est précisément ce qui en fait un bon générateur : il ne triche pas en regardant vers l'avenir, il produit chaque mot dans l'ordre, comme le ferait un rédacteur.
Architecture « décodeur seul » : le texte entre en haut, traverse une pile de blocs identiques, et un seul mot est prédit à chaque étape — dans l'ordre, sans regarder vers l'avenir.
Le modèle le plus grand de la famille GPT-2 compte 1,5 milliard de paramètres. Les paramètres sont les valeurs numériques que le modèle ajuste au fil de l'entraînement ; leur nombre donne une idée de sa capacité à emmagasiner des régularités. À titre de repère, GPT-1 en comptait environ 117 millions. GPT-2 représente donc un facteur supérieur à dix — environ treize, selon les chiffres de l'article de recherche original — par rapport à son aîné, ce qui illustre la logique d'augmentation d'échelle au cœur de la démarche.
À retenir — L'architecture en trois chiffres : 1,5 milliard de paramètres (soit ×13 par rapport à GPT-1 et ses 117 millions), une fenêtre de contexte portée de 512 à 1024 tokens, et un transformeur « décodeur seul » régi par une attention causale. Pas de rupture d'architecture — un changement d'échelle soigneusement maîtrisé.
Les ajustements par rapport à GPT-1
Au-delà de la taille, quelques modifications techniques distinguent GPT-2 de la première génération. Elles paraissent mineures mais contribuent à la stabilité de l'entraînement d'un modèle aussi vaste :
- La normalisation de couche (layer normalization) est déplacée en entrée de chaque sous-bloc, plutôt qu'en sortie. Ce réagencement facilite l'entraînement des réseaux profonds en stabilisant le flux des signaux.
- Une normalisation de couche supplémentaire est ajoutée après le dernier bloc d'auto-attention, un raffinement qui améliore encore la stabilité.
- La taille du contexte passe de 512 à 1024 tokens. Le modèle peut ainsi tenir compte d'un passage deux fois plus long pour prédire la suite — un atout décisif pour maintenir la cohérence sur plusieurs paragraphes.
Ce dernier point n'est pas anodin. Une part de l'impression de cohérence que produit GPT-2 vient de sa capacité à « se souvenir » d'un contexte étendu. En doublant la fenêtre de contexte, OpenAI donne au modèle les moyens de suivre un fil narratif, de rappeler un nom mentionné plus haut, de respecter le ton posé dès les premières lignes. C'est en grande partie ce qui explique que ses productions donnent le sentiment d'être « écrites » plutôt qu'assemblées mot à mot.
Une famille de tailles
GPT-2 n'est pas un modèle unique mais une famille déclinée en plusieurs tailles, ce qui permet de mesurer l'effet de l'échelle « toutes choses égales par ailleurs ». La plus petite version compte environ 124 millions de paramètres ; viennent ensuite des variantes intermédiaires d'environ 355 millions puis 774 millions de paramètres, jusqu'au modèle complet de 1,5 milliard. Cette gradation offre un banc d'essai précieux : en comparant les différentes tailles sur les mêmes épreuves, les chercheurs peuvent observer directement comment les performances évoluent avec la capacité. Nous verrons que cette relation suit une trajectoire remarquablement régulière.
WebText : la qualité du corpus au centre
Un modèle de langage ne vaut que par le texte sur lequel il apprend. Sur ce point, GPT-2 apporte une contribution souvent sous-estimée : la construction soignée de son jeu de données d'entraînement, baptisé WebText.
Filtrer par la recommandation humaine
Récupérer du texte en masse sur le web est facile ; en récupérer du bon texte l'est beaucoup moins. Une grande partie du web est constituée de pages de faible qualité, de contenus dupliqués ou de fragments peu exploitables. L'équipe d'OpenAI a donc adopté une stratégie de filtrage astucieuse : plutôt que d'aspirer le web indistinctement, elle a retenu uniquement les pages web mises en lien depuis la plateforme Reddit, à condition que la publication correspondante ait reçu au moins trois « karma », une forme d'approbation de la communauté.
L'idée sous-jacente est élégante. En exigeant qu'une page ait été partagée et jugée digne d'intérêt par des utilisateurs, on utilise le jugement humain comme un filtre de qualité peu coûteux et à grande échelle. Un lien qu'une communauté a trouvé assez utile ou intéressant pour l'approuver a de bonnes chances de pointer vers un contenu lisible et pertinent. Ce filtrage a été appliqué aux publications antérieures à décembre 2017.
Le filtrage de WebText : trois cribles successifs transforment le web brut en corpus d'entraînement de qualité, sans recourir à une annotation humaine dédiée.
Un corpus de 40 gigaoctets
Le résultat de ce travail est un corpus d'environ 8 millions de documents web, pour un volume de l'ordre de 40 gigaoctets de texte. Ce n'est pas seulement une question de quantité : c'est la diversité et la tenue générale de ce corpus qui comptent. En apprenant sur des textes variés — articles, billets, discussions, documentation — le modèle acquiert une palette stylistique et thématique étendue, ce qui explique sa faculté à s'adapter au ton d'une amorce, qu'il s'agisse d'un conte, d'un article de presse ou d'un mode d'emploi.
L'équipe a également pris soin d'écarter de WebText les pages provenant de Wikipédia. Ce choix peut surprendre, mais il répond à un souci de rigueur expérimentale : de nombreux jeux d'évaluation étant construits à partir de Wikipédia, l'inclure dans l'entraînement aurait risqué de fausser les mesures en donnant au modèle un accès indirect aux réponses. En excluant cette source, OpenAI s'assure que les performances mesurées reflètent une réelle capacité de généralisation, et non une simple mémorisation des données de test.
En ne retenant que les pages recommandées par une communauté d'internautes, WebText transforme le jugement humain en filtre de qualité à grande échelle — une idée simple qui pèse lourd dans la tenue des textes générés.
Le zero-shot : apprendre sans exemples dédiés
Voici sans doute la contribution la plus marquante de GPT-2 sur le plan scientifique. Le modèle est capable d'accomplir des tâches variées sans avoir été spécifiquement entraîné pour elles, et sans qu'on lui fournisse d'exemples au moment de l'usage. On parle d'apprentissage zero-shot : zéro exemple dédié.
Le principe, concrètement
Comment un modèle entraîné à seule fin de prédire le mot suivant peut-il, par exemple, résumer un texte ou répondre à une question ? La réponse tient à la manière dont on lui formule la demande. Si l'on présente au modèle un article suivi de la mention « En résumé : », la tâche de prédire la suite la plus probable revient, de fait, à produire un résumé — car dans les textes du corpus, cette formule est très souvent suivie d'un condensé. Le modèle n'a pas appris « à résumer » comme une compétence isolée ; il a appris à prédire ce qui vient naturellement après une telle amorce, ce qui, en pratique, produit un résumé.
C'est là toute la subtilité de la thèse « multitâche non supervisé ». Les tâches ne sont pas enseignées séparément : elles sont présentes, en filigrane, dans le corpus d'entraînement. Un texte du web contient des traductions, des questions suivies de réponses, des articles suivis de leurs résumés. En apprenant à prédire la suite de tous ces textes, le modèle intègre implicitement la manière d'accomplir ces tâches. La démonstration de GPT-2 est de montrer qu'à échelle suffisante, ces compétences latentes deviennent exploitables directement, sans réentraînement.
Des résultats de premier plan
L'article de recherche accompagne cette thèse de mesures précises. En configuration zero-shot, GPT-2 établit de nouveaux records sur 7 des 8 jeux de données de modélisation du langage sur lesquels il est évalué. C'est un résultat notable : le modèle surpasse des systèmes spécifiquement conçus et entraînés pour ces épreuves, alors qu'il n'a, lui, appris qu'une tâche générique.
Quelques exemples éclairent la portée de ces résultats :
- Sur LAMBADA, une épreuve qui teste la capacité à prédire le dernier mot d'un passage lorsqu'il exige de comprendre un contexte étendu, GPT-2 obtient d'excellents résultats — précisément le type de tâche qui met à l'épreuve la compréhension à longue portée.
- Sur CoQA, un jeu de questions-réponses conversationnelles, le modèle atteint un score de 55 en F1 lorsqu'on le conditionne avec un document et des questions. Ce score égale ou dépasse trois des quatre systèmes de référence — et il le fait sans exploiter les plus de 127 000 exemples d'entraînement dont disposaient ces systèmes.
Ce dernier point mérite qu'on s'y arrête. Les systèmes de référence ont été entraînés sur des dizaines de milliers d'exemples annotés spécifiques à la tâche. GPT-2 les rejoint, voire les dépasse, sans en avoir vu un seul, en s'appuyant uniquement sur ce qu'il a appris en prédisant du texte. C'est cette efficacité qui frappe : la connaissance nécessaire à la tâche a été acquise « en passant », au cours d'un entraînement générique.
À retenir — Le résultat qui frappe : en zero-shot (aucun exemple dédié), GPT-2 bat le record sur 7 des 8 jeux de données évalués. Sur CoQA (questions-réponses conversationnelles), il atteint 55 de F1 sans exploiter les plus de 127 000 exemples annotés dont bénéficiaient les systèmes spécialisés. La tâche est apprise « en passant ».
Une relation régulière entre taille et performance
L'article établit un autre constat, appelé à peser lourd dans les années à venir : les performances s'améliorent de façon log-linéaire à mesure que la capacité du modèle augmente. Autrement dit, en comparant les différentes tailles de la famille GPT-2, on observe une progression régulière et prévisible : chaque augmentation de capacité apporte un gain mesurable, sans plateau apparent dans la plage testée.
Cette régularité est peut-être le résultat le plus lourd de conséquences. Elle suggère qu'on n'a pas encore atteint les limites de l'approche, et qu'augmenter encore la taille des modèles et des corpus pourrait continuer d'améliorer les performances. C'est une invitation explicite à poursuivre dans la voie de l'échelle, et l'on peut anticiper que cette piste sera au centre des recherches à venir.
Relation log-linéaire : la perte de test baisse régulièrement quand la taille du modèle augmente — aucun plateau visible dans la plage mesurée. Ordres de grandeur d'après l'article de recherche GPT-2.
Des productions qui bluffent, et leurs limites
Au-delà des chiffres, ce qui frappe le grand public, ce sont les textes eux-mêmes. Le billet d'annonce d'OpenAI présente plusieurs échantillons, dont le fameux passage sur les licornes des Andes. À partir d'une simple amorce écrite par un humain, GPT-2 poursuit sur plusieurs paragraphes en inventant des détails cohérents : le nom donné aux créatures, la description de leur apparence, des citations attribuées à des chercheurs fictifs.
Ce que le modèle réussit
La qualité des productions tient à plusieurs facultés. Le modèle adapte son style au ton de l'amorce : donnez-lui un début d'article de presse, il continue comme un journaliste ; donnez-lui le début d'un récit, il poursuit comme un romancier. Il maintient une cohérence thématique sur la durée, respecte la grammaire et convoque des connaissances plausibles. Pour un lecteur pressé, certains extraits sont difficiles à distinguer d'un texte rédigé par une personne.
Cette adaptabilité découle directement de la diversité de WebText. Ayant appris sur une grande variété de registres, le modèle dispose d'un répertoire stylistique étendu qu'il mobilise en fonction du contexte fourni. C'est la traduction concrète, à l'écran, de tout le travail réalisé en amont sur le corpus.
Ce qu'il faut garder à l'esprit
La lucidité s'impose toutefois, et l'équipe elle-même la revendique. GPT-2 ne « comprend » pas au sens humain : il modélise des régularités statistiques du langage. Ses productions, si convaincantes soient-elles, peuvent contenir des affirmations fausses énoncées avec aplomb, des incohérences sur de longues distances, ou des répétitions. Le modèle génère du texte plausible, pas nécessairement du texte vrai. Cette distinction est essentielle pour l'usage : GPT-2 est un remarquable générateur de langage, non une source d'information fiable.
À retenir — Plausible ≠ vrai : GPT-2 produit un texte vraisemblable (fluide, cohérent localement), pas un texte exact. Les affirmations fausses y sont énoncées avec le même aplomb que les bonnes. Tout usage sérieux suppose une vérification humaine des faits : le modèle est un générateur de langage, non une source d'information.
Il est d'ailleurs prudent de rappeler que la sélection publiée met en avant les meilleurs échantillons. L'équipe indique que la qualité varie d'un essai à l'autre, et qu'il faut parfois plusieurs tentatives pour obtenir un résultat aussi net que ceux mis en avant. Cette transparence est bienvenue : elle situe correctement l'avancée, remarquable mais perfectible, et invite à une lecture mesurée des exemples les plus spectaculaires.
Une stratégie de publication inhabituelle
L'annonce de GPT-2 se distingue par un choix qui fait débat dans la communauté : OpenAI décide de ne pas publier immédiatement le modèle complet de 1,5 milliard de paramètres. À la place, l'équipe rend disponible une version nettement plus petite, tout en conservant pour l'instant les variantes les plus grandes ainsi que les données et le code d'entraînement.
Le raisonnement avancé
La justification tient à des préoccupations sur les usages possibles. Un générateur de texte aussi fluide pourrait, en théorie, servir à produire de fausses informations à grande échelle, à usurper l'identité de personnes dans des courriels, ou à automatiser la production de contenus abusifs sur les réseaux sociaux. Par prudence, OpenAI choisit une publication échelonnée : diffuser d'abord la plus petite version, observer les usages, et décider de la suite en connaissance de cause.
Cette approche est, dans le contexte de 2019, largement inédite pour un travail de recherche. La norme dominante veut qu'on publie modèles, données et code afin que la communauté puisse reproduire et vérifier les résultats. OpenAI assume ici de s'en écarter temporairement, au nom d'une réflexion sur le déploiement responsable des technologies de génération.
Un débat légitime
Le choix suscite des réactions contrastées, et c'est sain. Certains chercheurs estiment que retenir le modèle freine la recherche et complique la vérification indépendante des résultats. D'autres y voient au contraire un précédent utile : prendre le temps d'évaluer les usages avant une diffusion large. Il faut aussi noter une réserve exprimée par une partie de la communauté, selon laquelle l'ampleur des risques a pu être présentée de façon appuyée.
Quelle que soit l'issue de ce débat, il a le mérite d'exister. GPT-2 ne pose pas seulement une question technique — jusqu'où peut-on améliorer un modèle de langage ? — mais aussi une question de pratique : comment publier de tels travaux de manière responsable ? En ouvrant cette discussion, OpenAI contribue à faire mûrir la réflexion collective sur le sujet, indépendamment de la position que l'on adopte.
GPT-2 pose une question qui dépasse la seule technique : comment diffuser un travail de recherche puissant de manière réfléchie ? La publication échelonnée est une réponse parmi d'autres, et le débat qu'elle ouvre a sa valeur.
Ce que GPT-2 signifie pour la suite
Prenons de la hauteur. Au-delà de l'exploit ponctuel, que nous apprend GPT-2 sur la trajectoire du traitement du langage ?
L'échelle comme levier
Le premier enseignement est que l'augmentation d'échelle — plus de paramètres, plus de données de qualité — produit des gains substantiels et réguliers. La relation log-linéaire observée entre capacité et performance est une boussole : elle indique une direction. On peut raisonnablement anticiper que les prochains modèles chercheront à grandir encore, pour vérifier jusqu'où cette dynamique se poursuit. GPT-2 n'est pas un aboutissement, mais une étape sur une pente que rien, pour l'heure, ne semble arrêter.
La généralité comme horizon
Le deuxième enseignement concerne la généralité. L'idée qu'un modèle unique, entraîné sur une tâche générique, puisse accomplir de multiples tâches sans réentraînement, redéfinit la façon de concevoir ces systèmes. Là où l'on construisait auparavant un modèle par tâche, GPT-2 esquisse un futur où un seul modèle polyvalent sert de socle commun. Cette bascule, si elle se confirme, simplifierait considérablement le paysage : un unique système à améliorer, plutôt qu'une constellation de modèles spécialisés à entretenir.
La qualité des données comme fondation
Le troisième enseignement, plus discret, tient à WebText. La démonstration que la qualité du corpus — obtenue ici par un filtrage fondé sur la recommandation humaine — pèse lourd dans le résultat final, rappelle que l'ingénierie des données est aussi déterminante que l'architecture. On peut parier que les prochains travaux accorderont une attention croissante à la constitution et au filtrage des corpus, un chantier moins visible que l'architecture mais tout aussi structurant.
Une nouvelle exigence : le déploiement réfléchi
Enfin, la stratégie de publication échelonnée introduit dans la pratique de la recherche une question qui ne la quittera plus : celle des modalités de diffusion. À mesure que les modèles gagnent en capacité, la manière de les rendre publics devient un sujet à part entière. GPT-2 aura été, sur ce plan, un cas d'école — le premier à porter cette interrogation sur le devant de la scène de façon aussi nette.
Pour les praticiens : ce qui change concrètement
Descendons du plan général vers le terrain. Pour qui travaille avec le langage — développeur, chercheur, ingénieur produit — que retenir d'utile de GPT-2 ?
D'abord, la puissance du pré-entraînement comme point de départ. Plutôt que de partir d'un modèle vierge et de l'entraîner sur sa propre tâche, il devient pertinent de s'appuyer sur un modèle déjà pré-entraîné sur de vastes corpus, qui apporte d'emblée une compréhension générale du langage. Cette approche réduit le besoin en données annotées, souvent le principal goulet d'étranglement d'un projet.
Ensuite, l'importance de la formulation de la tâche. GPT-2 montre que la façon dont on présente une demande au modèle — l'amorce, le format, le contexte fourni — influe directement sur la qualité du résultat. Savoir cadrer une requête pour orienter le modèle vers la sortie souhaitée devient une compétence en soi, et il est probable que cette dimension gagne en importance à mesure que ces modèles se diffuseront.
Enfin, une exigence de vérification. Puisque le modèle produit du texte plausible sans garantie de véracité, tout usage sérieux suppose un contrôle humain sur les faits. GPT-2 est un formidable assistant de rédaction, un moteur d'idées, un accélérateur — à condition de garder la main sur la validation. La bonne posture consiste à tirer parti de sa fluidité tout en restant l'arbitre de l'exactitude.
La question utile n'est pas seulement « que peut générer le modèle ? », mais « comment formuler ma demande et vérifier sa réponse ? » — deux compétences que GPT-2 place, dès maintenant, au premier plan.
Avec le recul
Cette section, brève, se place volontairement en dehors du moment de l'annonce (depuis 2026). Elle vise à situer GPT-2 dans une perspective plus large, sans anticiper le détail des développements ultérieurs.
Avec le temps, il est apparu que les intuitions posées par GPT-2 étaient justes sur l'essentiel. L'idée que l'augmentation d'échelle continue d'apporter des gains, celle qu'un modèle générique peut accomplir de nombreuses tâches, et l'attention portée à la qualité des corpus se sont retrouvées au cœur des générations suivantes de modèles de langage. La stratégie de publication échelonnée, quant à elle, a nourri une réflexion durable sur les modalités de diffusion des systèmes puissants. Rétrospectivement, l'annonce de février 2019 apparaît comme un point de bascule, où le grand public a pris conscience, à travers une licorne des Andes, de ce que la génération de texte automatique était en train de devenir.
Un jalon dans l'histoire du langage automatique
Que retenir de GPT-2 ? D'abord, qu'il s'agit d'une démonstration convaincante d'une idée forte : entraîner un modèle à prédire le mot suivant, sur un corpus vaste et de qualité, fait émerger des compétences multiples sans supervision dédiée. C'est la thèse du « multitâche non supervisé », et GPT-2 l'étaye par des résultats concrets, avec des records zero-shot sur 7 des 8 jeux de données évalués.
Ensuite, que l'exploit doit beaucoup à des choix d'ingénierie soignés : un changement d'échelle assumé, une fenêtre de contexte élargie, et surtout un corpus, WebText, construit avec le souci de la qualité. Ces briques, prises ensemble, expliquent la fluidité qui a tant frappé les observateurs.
Enfin, que GPT-2 ne se réduit pas à une prouesse technique : il ouvre des questions de méthode, sur l'échelle comme moteur du progrès, sur la généralité comme horizon, et sur la diffusion responsable comme nouvelle exigence. Pour un praticien, l'essentiel est de comprendre les mécanismes — pré-entraînement, prédiction du mot suivant, zero-shot, formulation de la tâche — qui définissent cette nouvelle génération de modèles. Les maîtriser, c'est se donner les moyens de lire chaque annonce à venir avec discernement, et de tirer parti de ces outils en acteur informé plutôt qu'en spectateur ébloui. C'est, au fond, tout l'objet de cette chronique.
Tester sa compréhension
Cinq questions rapides sur l'essentiel de l'article. Cochez une réponse par question, puis vérifiez.
Sources
Cet article s'appuie sur des sources publiques et vérifiables :
- OpenAI, « Better Language Models and Their Implications » (14 février 2019) — openai.com (annonce, exemple des licornes, publication échelonnée).
- A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, I. Sutskever, « Language Models are Unsupervised Multitask Learners » (2019) — article de recherche officiel : cdn.openai.com (PDF) (architecture, WebText, zero-shot, benchmarks).
- « GPT-2 », Wikipedia — en.wikipedia.org (1,5 milliard de paramètres, WebText 40 Go, calendrier de publication échelonnée).
- OpenAI, dépôt de code « gpt-2 » — github.com/openai/gpt-2 (code accompagnant l'article, tailles de modèles).
- I. Solaiman et al., « Release Strategies and the Social Impacts of Language Models » (2019) — arXiv 1908.09203 (analyse de la publication échelonnée et de ses enjeux).