GPT-2 en accès complet : OpenAI ouvre son modèle 1,5 milliard de paramètres

Ce 5 novembre 2019, OpenAI referme un chapitre commencé neuf mois plus tôt. Le laboratoire publie enfin la version intégrale de GPT-2, son modèle de langage de 1,5 milliard de paramètres, jusqu'ici gardé sous le coude. En février, OpenAI avait présenté ce générateur de texte tout en refusant d'en diffuser la version complète, invoquant un risque d'usage abusif. La décision avait fait grand bruit et lancé un débat qui n'est pas encore éteint. Depuis, le laboratoire a procédé par étapes, publiant des modèles de taille croissante tout en surveillant leurs effets. Aujourd'hui, la dernière marche est franchie : le modèle complet est accessible à tous, accompagné d'un rapport, d'un jeu de données et d'outils de détection.

Cet article propose de faire le point, à froid, sur ce qu'est réellement GPT-2, sur la démarche inédite qui a entouré sa diffusion, et sur les enseignements que la communauté peut en tirer. Car au-delà de la performance technique — bien réelle — c'est la méthode de publication qui restera peut-être la contribution la plus durable de cet épisode. Pour la première fois, un laboratoire de premier plan a traité la sortie d'un modèle comme une expérience à part entière, avec un protocole, des partenaires et des mesures. Que l'on approuve ou non chacun de ses choix, l'exercice mérite d'être compris dans le détail.

Un mot de méthode, d'abord. Le sujet a été très commenté, souvent en des termes tranchés. Nous allons nous en tenir aux faits documentés : les tailles de modèles et leurs dates, les chiffres publiés par OpenAI et ses partenaires universitaires, la nature exacte des outils diffusés. L'objectif est de donner au lecteur une vision claire et vérifiable, pour qu'il se forge sa propre opinion sur un cas d'école du déploiement de l'IA.

GPT-2, en clair : un prédicteur de mots à grande échelle

Avant de parler de stratégie de publication, il faut comprendre ce que fait cette machine. GPT-2 est un modèle de langage : sa tâche, apprise sur d'immenses volumes de texte, consiste à prédire le mot suivant à partir des mots précédents. Répétée des milliers de fois, cette opération élémentaire produit des paragraphes entiers, souvent cohérents, parfois étonnamment convaincants. Rien de magique dans le principe ; c'est l'échelle qui change tout.

Le modèle a été présenté dans un article intitulé « Language Models are Unsupervised Multitask Learners », signé par Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei et Ilya Sutskever. Le titre dit l'essentiel de la thèse défendue : un modèle de langage entraîné sans supervision explicite peut, de fait, apprendre à accomplir de multiples tâches. En clair, on ne lui enseigne jamais directement à traduire, à résumer ou à répondre à une question ; il en acquiert néanmoins des rudiments par la seule exposition à un texte varié.

L'architecture, sans jargon inutile

GPT-2 repose sur l'architecture Transformer, plus précisément sur sa partie décodeur, introduite par Google en 2017. Dans sa plus grande version, le modèle empile 48 de ces couches décodeur, pour atteindre 1,5 milliard de paramètres — les « poids » ajustés pendant l'entraînement. Quelques ajustements techniques distinguent GPT-2 de son prédécesseur GPT-1 : la normalisation de couche est déplacée en entrée de chaque sous-bloc, une normalisation supplémentaire est ajoutée après le dernier bloc d'attention, et la fenêtre de contexte passe de 512 à 1 024 tokens. Ces détails paraissent techniques, mais ils traduisent une intention simple : rendre l'entraînement de très grands modèles plus stable, et leur permettre de tenir compte d'un contexte plus long.

La famille GPT-2 se décline en réalité en plusieurs tailles, ce qui aura son importance pour la suite de l'histoire : une version à 124 millions de paramètres, une à 355 millions, une à 774 millions, et enfin la version complète à 1,5 milliard. Ces quatre modèles partagent la même architecture ; seul le nombre de couches et la largeur des couches varient. Cette gradation n'est pas anodine : elle a servi de colonne vertébrale à toute la stratégie de diffusion.

WebText : quarante gigaoctets de texte trié

Un modèle ne vaut que par les données sur lesquelles il apprend. Pour GPT-2, OpenAI a constitué un corpus baptisé WebText, soit environ 40 gigaoctets de texte en anglais. La méthode de collecte mérite d'être notée, car elle témoigne d'un souci de qualité. Plutôt que d'aspirer le web au hasard, l'équipe a suivi les liens sortants publiés sur Reddit, en ne retenant que ceux issus de messages ayant reçu au moins trois votes positifs (un « karma » de 3 ou plus). L'idée sous-jacente : un lien qu'un internaute a jugé digne d'être partagé, et que d'autres ont approuvé, a plus de chances de pointer vers un contenu de qualité qu'une page tirée au sort.

Ce filtrage par approbation humaine constitue une astuce élégante et peu coûteuse pour améliorer la qualité moyenne du corpus. Il illustre un principe qui reste d'actualité : la qualité des données d'entraînement pèse autant, sinon plus, que leur quantité brute. Un modèle nourri de texte médiocre produit du texte médiocre, quelle que soit sa taille.

GPT-2 n'invente rien : il prédit, mot après mot, la suite la plus probable. Toute sa puissance apparente naît de la répétition de ce geste simple, à une échelle inédite.

Ce que le modèle sait faire — et ce qu'il ne sait pas faire

La démonstration qui a frappé les esprits est la génération de texte libre. On fournit à GPT-2 une amorce — une phrase, un début de paragraphe — et il poursuit sur sa lancée. Sur les meilleurs exemples, le résultat est bluffant : le ton est tenu, le style cohérent, le sujet respecté sur plusieurs paragraphes. L'exemple le plus célèbre, publié par OpenAI, est un faux article de presse sur la découverte de licornes parlantes dans les Andes, rédigé avec le sérieux d'une dépêche scientifique à partir d'une simple amorce.

Au-delà de cette génération spectaculaire, GPT-2 manifeste des capacités dites « zero-shot » : sans avoir été spécifiquement entraîné pour, il obtient des résultats honorables sur plusieurs tâches classiques du traitement du langage. On peut l'amener à résumer un texte en terminant l'amorce par « TL;DR », à esquisser une traduction, ou à répondre à des questions de compréhension. Ces performances restent modestes comparées à des systèmes dédiés, mais leur seule existence, sans entraînement spécifique, valide la thèse de l'article : l'apprentissage massif fait émerger des compétences variées.

Ce point est plus profond qu'il n'y paraît. Jusque-là, la pratique dominante consistait à concevoir un modèle par tâche : un système pour la traduction, un autre pour le résumé, un troisième pour la classification, chacun entraîné sur des données annotées spécifiques. GPT-2 suggère une voie différente : un modèle unique, entraîné une seule fois sur du texte brut, capable de s'attaquer à plusieurs de ces tâches selon la manière dont on l'interroge. La qualité n'égale pas encore celle des systèmes spécialisés, mais la direction est tracée. C'est un déplacement de perspective qui vaut, à lui seul, l'attention portée au modèle.

Un autre trait mérite d'être relevé : la capacité de GPT-2 à respecter un style et un registre imposés par l'amorce. Lancé sur un début de conte, il poursuit sur le ton du conte ; amorcé par une notice technique, il en imite la sécheresse. Cette plasticité stylistique, apprise implicitement au fil de milliards de mots aux tons variés, est l'un des aspects les plus frappants du modèle. Elle explique aussi une part des inquiétudes exprimées : un système capable d'épouser n'importe quel registre pourrait, en théorie, produire du texte imitant des sources crédibles. C'est précisément ce potentiel que la diffusion progressive a cherché à évaluer sereinement.

Des limites franches, qu'il faut nommer

Il serait trompeur de présenter GPT-2 comme un système fiable. Ses limites sont nettes, et OpenAI ne les a pas dissimulées. Le modèle génère fréquemment du texte incohérent sur la durée, se contredit, invente des faits avec aplomb, ou répète des tournures. La qualité varie beaucoup selon les sujets : GPT-2 se montre plus convaincant sur les thèmes abondamment représentés dans ses données d'entraînement (actualité, technologie, culture populaire) que sur des domaines techniques pointus. Il n'a aucune compréhension du monde au sens humain ; il manipule des régularités statistiques du langage.

• Cohérence limitée : les meilleurs échantillons demandent souvent plusieurs essais ; le modèle produit aussi beaucoup de texte médiocre.
• Absence de factualité : rien ne garantit l'exactitude de ce qu'il écrit ; il énonce le faux avec la même assurance que le vrai.
• Sensibilité à l'amorce : la qualité de la sortie dépend fortement de la manière dont on lance le modèle.
• Biais hérités des données : le corpus web reflète les biais de ses auteurs humains, que le modèle reproduit.

Garder ces limites à l'esprit est indispensable pour évaluer avec justesse le débat sur les risques du modèle. Un outil qui produit du texte plausible mais non fiable pose des questions réelles ; il ne constitue pas pour autant un système autonome et infaillible. La mesure s'impose dans les deux sens : ni banalisation, ni dramatisation.

Une publication par étapes : le cœur de l'histoire

C'est ici que le cas GPT-2 devient exemplaire. En février 2019, en présentant le modèle, OpenAI a pris une décision inhabituelle : ne pas diffuser la version complète à 1,5 milliard de paramètres, par crainte d'un usage malveillant à grande échelle — désinformation automatisée, hameçonnage, faux avis, spam. Le laboratoire n'a d'abord rendu publique que la plus petite version, à 124 millions de paramètres.

Cette rétention a surpris et divisé. Jamais, ou presque, un laboratoire n'avait refusé de publier un résultat de recherche par précaution sur son usage. Plutôt que de trancher entre « tout publier » et « tout garder », OpenAI a choisi une troisième voie : une diffusion progressive, ou « staged release ». L'idée est de publier des modèles de taille croissante, à intervalles réguliers, en observant à chaque étape si des usages abusifs apparaissent, avant de passer à la taille supérieure.

Le calendrier, étape par étape

La chronologie de cette diffusion, désormais complète, s'établit ainsi :

• Février 2019 : publication du modèle à 124 millions de paramètres, accompagnée d'un billet expliquant les préoccupations de sûreté et la décision de retenir les versions plus grandes.
• Mai 2019 : après plusieurs mois de surveillance sans incident notable, mise à disposition du modèle à 355 millions de paramètres.
• Août 2019 : nouvelle étape, avec la diffusion du modèle à 774 millions de paramètres, à mi-chemin de la version complète, précédée d'une évaluation des risques.
• Novembre 2019 : publication de la version intégrale à 1,5 milliard de paramètres — soit environ neuf mois après l'annonce initiale.

À chaque palier, le laboratoire a pris le temps d'observer. La logique est celle d'un déminage méthodique : plutôt que de lâcher d'emblée l'outil le plus puissant, on avance par doublement de capacité, en se donnant à chaque fois la possibilité de faire marche arrière si un usage préoccupant se manifestait. Cette prudence graduée est, en soi, une innovation de méthode autant que de technique.

On peut voir dans cette progression une forme d'expérimentation contrôlée. Chaque taille de modèle sert de sonde : en publiant le 355 millions, puis le 774 millions, OpenAI mesure l'écart de capacité perçu entre deux paliers et observe les usages réels avant de décider de l'étape suivante. Cette approche par incréments permet de dissocier deux questions souvent confondues : « ce modèle est-il plus performant ? » et « ce modèle est-il davantage détournable ? ». Comme le montreront les scores de crédibilité, les deux ne progressent pas au même rythme — un enseignement qu'on n'aurait pas pu tirer d'une publication en un seul bloc.

Il convient de souligner que cette diffusion progressive ne s'est pas faite dans le secret. À chaque étape, OpenAI a accompagné la publication d'un billet explicatif, détaillant les observations de la période écoulée et le raisonnement conduisant à l'étape suivante. Cette transparence de processus est aussi remarquable que la prudence elle-même : elle permet à la communauté de suivre, de discuter et de contester la démarche en temps réel, plutôt que de la découvrir a posteriori. C'est un modèle de communication que d'autres pourront reprendre, quels que soient les choix qu'ils feront sur le fond.

Un rapport pour cadrer la démarche

Cette approche n'a pas été improvisée. Elle s'appuie sur un document de fond, « Release Strategies and the Social Impacts of Language Models », co-signé notamment par Irene Solaiman, Miles Brundage, Jack Clark, Amanda Askell et Alec Radford. Ce rapport détaille le raisonnement derrière la diffusion progressive et propose un cadre pour publier des modèles de plus en plus capables tout en surveillant leur détournement possible entre chaque étape. Il constitue l'une des premières tentatives structurées de penser la publication d'un modèle comme une question à part entière, distincte de sa conception.

La vraie nouveauté de GPT-2 ne tient pas seulement à ses paramètres, mais à l'idée qu'un modèle puisse se diffuser par étapes, chaque palier servant de test grandeur nature avant le suivant.

Des partenaires pour éclairer la décision

Une décision de cette nature ne pouvait reposer sur la seule appréciation d'OpenAI. Le laboratoire a donc noué des partenariats avec des institutions extérieures, chargées d'étudier de manière indépendante les usages, les biais et la détectabilité du modèle. Cette ouverture à des regards tiers est un autre trait notable de la démarche.

Parmi ces partenaires, l'Université Cornell a mené des travaux sur la crédibilité perçue du texte généré. Le Middlebury Institute, à travers son Center on Terrorism, Extremism, and Counterterrorism (CTEC), a examiné les scénarios de détournement, notamment la possibilité pour des groupes extrémistes d'affiner le modèle sur des positions idéologiques afin de produire de la propagande. D'autres équipes ont travaillé sur les biais et sur les outils de détection de texte synthétique.

Mesurer la crédibilité perçue

Le travail de Cornell a produit un résultat particulièrement éclairant pour la décision finale. Des personnes ont été invitées à attribuer un « score de crédibilité » à des textes générés par les différentes tailles de modèle, sur une échelle de 1 à 10. Les résultats montrent une progression, mais aussi un tassement :

• Modèle à 355 millions de paramètres : crédibilité moyenne de 6,07 ;
• Modèle à 774 millions de paramètres : 6,72 ;
• Modèle à 1,5 milliard de paramètres : 6,91.

La lecture de ces chiffres est instructive. Le saut de crédibilité entre 355 et 774 millions (de 6,07 à 6,72) est plus marqué que celui entre 774 millions et la version complète (de 6,72 à 6,91). Autrement dit, aux yeux des évaluateurs humains, le modèle le plus grand n'apparaît pas nettement plus « convaincant » que celui de taille moitié moindre. Cette observation a pesé dans la décision : si le potentiel d'usage abusif du modèle complet n'excède pas significativement celui du 774 millions déjà publié, retenir plus longtemps la version intégrale se justifie mal.

Détecter le texte synthétique : un outil livré avec le modèle

Publier un générateur de texte puissant tout en se souciant de son détournement pose une question évidente : peut-on reconnaître un texte produit par la machine ? OpenAI a pris ce sujet au sérieux et a accompagné la diffusion du modèle complet d'un jeu de données d'échantillons générés et d'un modèle de détection de référence, afin d'aider la communauté à travailler sur cette question.

Les chiffres publiés donnent une idée du défi. Avec une approche de classifieur simple, servant de base de référence, la détection des sorties atteint des précisions décroissantes à mesure que le modèle grandit : environ 88 % pour le modèle à 124 millions de paramètres, contre 74 % pour celui à 1,5 milliard. La tendance est logique : plus le modèle est grand, plus son texte se rapproche de l'écriture humaine, et plus il devient difficile à distinguer. Un détecteur plus élaboré, spécifiquement ajusté, atteint quant à lui environ 95 % de taux de détection pour le texte issu du modèle à 1,5 milliard.

Un enjeu de long terme, assumé comme tel

OpenAI a présenté la détection par le contenu comme un défi de long terme, et non comme un problème résolu. C'est une posture honnête : aucun détecteur n'est parfait, et la course entre génération et détection est appelée à se poursuivre. En livrant dès à présent des données et un détecteur de référence, le laboratoire donne à la communauté de recherche les moyens de progresser sur ce terrain, plutôt que de le laisser en friche. C'est une contribution concrète, utile à tous, y compris à ceux qui ne s'intéressent pas à GPT-2 lui-même.

Le verdict de neuf mois : aucun usage abusif d'ampleur constaté

Que retenir de cette période d'observation ? Le constat, au moment de publier la version complète, est sobre : OpenAI indique n'avoir vu aucune preuve solide d'usage abusif de grande ampleur. Les craintes initiales d'une exploitation massive pour la désinformation ne se sont pas concrétisées durant la diffusion progressive. Ce résultat, en apparence rassurant, se prête à deux lectures que l'on gagnera à tenir ensemble.

Première lecture : la prudence a peut-être contribué à ce calme. En donnant le temps aux plateformes, aux chercheurs et aux pouvoirs publics de prendre la mesure de la technologie, la diffusion par étapes a pu jouer un rôle d'amortisseur. Seconde lecture : le potentiel de détournement du modèle était sans doute plus limité qu'on ne l'a craint au départ, comme le suggèrent les scores de crédibilité qui plafonnent. Les deux explications ne s'excluent pas. Dans les deux cas, l'épisode fournit des données concrètes là où l'on n'avait, en février, que des conjectures.

Un débat qui n'est pas clos

Il faut le dire clairement : la démarche d'OpenAI n'a pas fait l'unanimité. Une partie de la communauté du machine learning a reproché au laboratoire d'avoir exagéré les risques de son modèle, y voyant une manière d'attirer l'attention médiatique, voire de priver les chercheurs d'un accès rapide à un outil utile. La formule « trop risqué pour être publié », souvent accolée à GPT-2, a été jugée disproportionnée par certains, au regard des capacités réelles — encore limitées — du modèle.

Ces critiques sont légitimes et méritent d'être entendues. Elles rappellent qu'une posture de précaution peut, si elle est mal calibrée, freiner la recherche ouverte sans bénéfice proportionné pour la sûreté. Reste que le laboratoire a poursuivi jusqu'au bout son plan de diffusion progressive, et qu'il a fini par tout publier, données et outils compris. La transparence de la démarche — rapport public, partenariats, chiffres communiqués — permet précisément à chacun de juger sur pièces, ce qui est en soi une forme de bonne pratique.

OpenAI dit n'avoir constaté aucun usage abusif d'ampleur pendant les neuf mois de diffusion progressive. Un résultat qui rassure autant qu'il alimente le débat sur la juste mesure de la précaution.

Ce qui est mis à disposition ce 5 novembre

Concrètement, la publication de ce jour comprend plusieurs éléments, au-delà du seul modèle. Il est utile de les détailler, car c'est l'ensemble du dispositif qui fait la valeur de cette diffusion.

• Le modèle complet à 1,5 milliard de paramètres : les poids entraînés, désormais accessibles à la communauté pour la recherche et l'expérimentation.
• Un jeu de données d'échantillons générés : une collection de sorties du modèle, destinée à étudier ses productions et à entraîner des détecteurs.
• Un modèle de détection de référence : une base de départ pour reconnaître le texte synthétique, que d'autres pourront améliorer.
• Le rapport sur les stratégies de publication : le cadre de réflexion, mis à la disposition de tous.

Cet ensemble transforme une simple mise en ligne de poids en une contribution méthodologique. Un développeur qui récupère le modèle hérite aussi des moyens de réfléchir à ses usages et à leur détection. C'est cohérent avec l'esprit de toute la démarche : ne pas séparer l'outil de la réflexion sur ses effets.

Les leçons de GPT-2 pour la suite

Prenons de la hauteur. Au-delà du modèle lui-même, quels enseignements durables tirer de cet épisode ? Plusieurs, qui dépassent largement le cas particulier de GPT-2.

D'abord, la démonstration que l'échelle paie. En augmentant la taille du modèle et du corpus, sans changer fondamentalement l'architecture, OpenAI a obtenu des gains qualitatifs nets par rapport à GPT-1. Cette leçon — la mise à l'échelle comme moteur de progrès — oriente déjà les travaux de nombreux laboratoires. GPT-2 n'est pas un aboutissement, mais une étape sur une trajectoire que sa réussite valide.

Ensuite, l'idée que la publication est une décision en soi. Pendant longtemps, publier un résultat de recherche allait de soi ; le seul enjeu était d'être le premier. GPT-2 introduit une nuance : la manière et le rythme de la diffusion deviennent des variables à part entière, dignes d'un protocole et d'une évaluation. Que l'on juge la précaution excessive ou avisée dans ce cas précis, le principe d'y réfléchir est désormais posé, et il structurera les débats à venir.

Enfin, l'importance de mesurer plutôt que de spéculer. Les scores de crédibilité de Cornell, les taux de détection, le suivi des usages sur neuf mois : autant de données concrètes qui ont remplacé, au moins en partie, les conjectures initiales. C'est peut-être là l'apport le plus solide de l'épisode. Face à une technologie nouvelle, la tentation est grande de trancher par la seule intuition, dans un sens ou dans l'autre. GPT-2 montre qu'il est possible, et fécond, de produire des mesures pour éclairer la décision.

Pour le praticien : un modèle utile, un cas d'école

Pour qui travaille sur le traitement du langage, GPT-2 offre dès maintenant un outil précieux : un modèle de génération solide, librement accessible, sur lequel bâtir des expérimentations, l'affiner pour des tâches spécifiques, ou étudier le comportement des grands modèles de langage. Sa disponibilité complète ouvre un terrain de jeu que les chercheurs attendaient.

Pour qui s'intéresse à la gouvernance de l'IA, il fournit un cas d'école riche : une décision de rétention, un plan de diffusion, des partenariats, des mesures, un débat contradictoire, et un dénouement transparent. Rares sont les épisodes aussi bien documentés. Il servira de référence, positive ou critique, aux discussions futures sur la publication responsable des modèles.

Un chapitre refermé, une conversation ouverte

Que retenir, au terme de ce parcours ? Que GPT-2, sur le plan technique, est un modèle de langage puissant pour son époque, fruit d'une mise à l'échelle réussie de l'architecture Transformer sur un corpus soigneusement filtré. Que ses capacités, réelles, s'accompagnent de limites franches qu'il ne faut ni ignorer ni exagérer. Et que sa diffusion, étalée sur neuf mois et par paliers, restera comme une expérience pionnière de publication réfléchie.

La décision initiale de retenir le modèle a suscité des critiques nourries, et il est sain qu'il en soit ainsi : c'est le signe d'une communauté qui prend au sérieux les questions qu'elle se pose. En publiant finalement l'intégralité — modèle, données, détecteur et rapport —, OpenAI a bouclé son plan et donné à tous les moyens de juger. Le constat d'absence d'usage abusif d'ampleur, sur la période observée, apporte une pièce factuelle à un débat qui, lui, demeure ouvert.

La vraie contribution de GPT-2 est peut-être là : moins dans le modèle que dans la conversation qu'il a lancée. Comment diffuser des systèmes de plus en plus capables ? Comment mesurer leur impact avant, plutôt qu'après ? Comment associer des tiers à la décision ? Ces questions ne recevront pas de réponse définitive de sitôt. Mais grâce à cet épisode, elles se posent désormais sur la base d'un précédent concret et documenté, plutôt que dans le vide. Pour la communauté de l'IA, c'est un point d'appui solide pour aborder les modèles qui viendront.

Avec le recul

(depuis 2026) Rétrospectivement, GPT-2 apparaît comme la charnière d'une trajectoire. Ses successeurs, aux paramètres bien plus nombreux, ont confirmé et amplifié le pari de l'échelle esquissé ici, au point de banaliser des générateurs de texte que 2019 découvrait à peine. La diffusion progressive, elle, a nourri une réflexion durable sur la publication des modèles, tour à tour saluée et discutée. Quant au débat sur la « juste mesure » de la précaution, il n'a rien perdu de son actualité. Relu aujourd'hui, cet épisode garde sa valeur de premier jalon : celui où une communauté a commencé à traiter la sortie d'un modèle comme une question à part entière.

Sources

Cet article s'appuie sur des sources publiques et vérifiables :

• OpenAI, « GPT-2: 1.5B Release » (5 novembre 2019) — openai.com (publication du modèle complet, jeu de données, détecteur, scores de crédibilité, taux de détection).
• Solaiman, Brundage, Clark, Askell, Radford et al., « Release Strategies and the Social Impacts of Language Models » — arXiv 1908.09203 (cadre de la diffusion progressive, partenariats, détection).
• Synced, « OpenAI Releases 1.5 Billion Parameter GPT-2 Model » (5 novembre 2019) — syncedreview.com (date de sortie, taille du corpus).
• MarkTechPost, « OpenAI Releases the 1.5 Billion Parameter GPT-2 » (6 novembre 2019) — marktechpost.com.
• Wikipédia, « GPT-2 » — en.wikipedia.org (calendrier de la diffusion par étapes, débat public).
• Radford, Wu, Child, Luan, Amodei, Sutskever, « Language Models are Unsupervised Multitask Learners » — documentation Hugging Face (GPT-2) (architecture, 48 couches, WebText, contexte 1024 tokens).