GPT-1 : l'acte fondateur du pré-entraînement génératif

Le 11 juin 2018, une équipe d'OpenAI a mis en ligne un article au titre modeste : « Improving Language Understanding by Generative Pre-Training ». Quatre auteurs — Alec Radford, Karthik Narasimhan, Tim Salimans et Ilya Sutskever — y décrivent un modèle de langage de 117 millions de paramètres, sans nom officiel dans le papier, que la communauté désigne déjà par le sigle de sa méthode : GPT, pour Generative Pre-Training. Ce modèle n'a rien d'un produit grand public. C'est un travail de recherche. Mais l'idée qu'il défend — pré-entraîner un transformeur sur du texte brut, puis l'affiner pour chaque tâche — pourrait bien redessiner la façon dont on construit les systèmes de traitement du langage.

Cet article propose une lecture patiente de ce travail. Nous allons remonter au problème qu'il cherche à résoudre, décrire l'architecture retenue, comprendre le procédé d'entraînement en deux temps, puis lire les résultats tâche par tâche. L'objectif est simple : saisir pourquoi cette approche compte, au-delà de la performance brute affichée sur tel ou tel classement. Que vous soyez chercheur, ingénieur en apprentissage automatique ou simplement curieux des idées qui font avancer le domaine, cette plongée vous donne les clés pour situer GPT dans le paysage de 2018.

Un mot de méthode d'abord. Le champ du traitement automatique des langues connaît, en cette année 2018, une effervescence rare. Plusieurs équipes explorent en parallèle l'idée d'apprentissage par transfert. Le travail d'OpenAI n'apparaît donc pas dans le vide : il prolonge une intuition partagée, tout en apportant sa propre réponse. Nous verrons en quoi cette réponse est singulière, et pourquoi elle mérite l'attention.

Le problème : apprendre le langage sans étiquettes

Pour comprendre l'apport de GPT, il faut d'abord mesurer la difficulté qu'il affronte. Entraîner un modèle à comprendre le langage humain se heurte à un obstacle tenace : le manque de données annotées. La plupart des tâches de compréhension — décider si une phrase en implique une autre, répondre à une question, mesurer la similarité entre deux textes — exigent des exemples étiquetés à la main. Or ces jeux de données annotés sont rares, coûteux à produire, et de taille limitée.

Le texte non annoté, lui, est disponible en abondance. Livres, articles, pages web : le langage écrit s'accumule par milliards de mots, sans le moindre travail d'étiquetage. L'idée qui traverse la recherche de 2018 est donc la suivante : et si l'on parvenait à faire apprendre au modèle l'essentiel du langage à partir de ce texte brut, avant de le spécialiser sur les rares données annotées disponibles ? C'est le pari de l'apprentissage semi-supervisé appliqué au langage.

Une intuition dans l'air du temps

Cette intuition n'est pas neuve, mais elle mûrit vite. Deux travaux récents balisent le terrain. D'un côté, ELMo (Peters et al., 2018) propose des représentations de mots contextuelles, produites par des réseaux récurrents à longue mémoire (LSTM) pré-entraînés sur de grands corpus. De l'autre, ULMFiT (Howard et Ruder, 2018) démontre qu'un modèle de langage pré-entraîné puis affiné avec soin peut atteindre d'excellents résultats en classification de texte. Ces deux approches partagent une conviction : le pré-entraînement sur du texte non annoté capture une connaissance linguistique transférable.

GPT s'inscrit dans cette lignée, mais avec un choix d'architecture différent. Là où ELMo et ULMFiT reposent sur des réseaux récurrents, OpenAI mise sur le transformeur. Ce choix, en apparence technique, se révèle structurant. Il conditionne la capacité du modèle à modéliser des dépendances à longue portée dans le texte, et à passer à l'échelle plus efficacement que les architectures récurrentes.

Une distinction mérite d'être clarifiée pour bien situer ces trois travaux. ELMo produit des représentations de mots que l'on vient ensuite injecter dans un modèle spécifique à la tâche : le pré-entraînement fournit des « briques » de représentation, mais l'architecture de la tâche reste à construire par ailleurs. ULMFiT et GPT vont plus loin : ils affinent l'intégralité du modèle pré-entraîné pour la tâche cible, plutôt que d'extraire des représentations figées. C'est une différence de degré importante — dans le second cas, tout le réseau, du bas vers le haut, s'adapte à la tâche, ce qui permet un transfert plus complet de la connaissance acquise. GPT pousse cette logique en l'associant à une architecture transformeur, là où ULMFiT restait sur des réseaux récurrents. C'est cette combinaison — transfert complet plus transformeur — qui constitue la proposition propre d'OpenAI.

Le choix du transformeur décodeur

L'architecture retenue par GPT dérive directement du transformeur introduit en 2017 par Vaswani et ses coauteurs, dans le célèbre article « Attention Is All You Need ». Ce transformeur d'origine était conçu pour la traduction : il combinait un encodeur, qui lisait la phrase source, et un décodeur, qui produisait la phrase cible. GPT ne conserve que la seconde moitié : c'est un transformeur décodeur seul.

Pourquoi le décodeur seul

Ce choix découle logiquement de l'objectif d'entraînement. GPT est un modèle de langage : sa tâche est de prédire le mot suivant à partir des mots précédents. Or le décodeur du transformeur possède exactement la propriété requise pour cela : son mécanisme d'attention est masqué. Concrètement, quand le modèle traite un mot à une position donnée, il ne peut regarder que les mots situés avant lui, jamais après. Cette contrainte, appelée attention causale, garantit que la prédiction du mot suivant ne « triche » pas en jetant un œil à la réponse.

Le mécanisme central, l'attention, mérite qu'on s'y arrête. Pour chaque mot, le modèle calcule dans quelle mesure il doit prêter attention à chacun des mots précédents. Ce faisant, il construit une représentation de chaque mot qui tient compte de son contexte — le sens du mot « avocat » n'est pas le même selon qu'il voisine « juge » ou « salade ». Là où un réseau récurrent devait propager l'information mot après mot, en risquant de la diluer sur de longues distances, l'attention relie directement chaque mot à tous les autres, quelle que soit la distance qui les sépare. C'est cette capacité qui rend le transformeur particulièrement adapté à la modélisation du langage.

Les caractéristiques du modèle

Les dimensions retenues pour GPT sont, pour l'époque, ambitieuses sans être démesurées :

• 12 couches de décodeur transformeur empilées ;
• 12 têtes d'attention masquées par couche, chacune travaillant dans un espace de 64 dimensions, soit une dimension de modèle de 768 ;
• Une fenêtre de contexte de 512 tokens, longueur sur laquelle le modèle apprend à modéliser les dépendances ;
• Au total, environ 117 millions de paramètres.

Chaque couche comporte, après le bloc d'attention, un réseau de neurones dense appliqué position par position. Le modèle utilise des plongements de position appris, qui permettent de tenir compte de l'ordre des mots — une information que l'attention, seule, ne capture pas. L'ensemble reste sobre : ni astuce architecturale exotique, ni empilement démesuré. La force de GPT ne réside pas dans une innovation de structure, mais dans la manière de l'entraîner.

L'entraînement en deux temps

C'est ici que se joue l'essentiel. GPT est entraîné en deux phases distinctes, articulées avec soin. La première, non supervisée, apprend le langage. La seconde, supervisée, spécialise le modèle sur une tâche précise. Cette séparation est le cœur de la méthode.

Phase 1 : le pré-entraînement génératif

La première étape consiste à entraîner le modèle comme un pur modèle de langage : on lui présente d'immenses quantités de texte, et sa seule tâche est de prédire le token suivant à chaque position. C'est un objectif purement génératif — d'où le « G » de GPT. Aucune annotation humaine n'intervient : le texte lui-même fournit son propre signal d'apprentissage, puisque le mot suivant est toujours connu.

Le corpus retenu est le BooksCorpus, un ensemble d'environ 7 000 livres non publiés couvrant des genres variés — aventure, fantastique, romance, et bien d'autres. Ce choix n'est pas anodin. Les auteurs soulignent que ce corpus contient de longs passages de texte continu, ce qui permet au modèle d'apprendre à modéliser des dépendances sur de longues portées. Un corpus fait de phrases isolées, mélangées et sans continuité, n'offrirait pas cette richesse. Le livre, avec sa narration suivie, est un excellent professeur de cohérence linguistique.

Sur le plan pratique, le modèle est entraîné pendant 100 époques, sur des mini-lots de 64 séquences de 512 tokens. L'optimisation s'appuie sur l'algorithme Adam, avec un taux d'apprentissage augmenté linéairement depuis zéro sur les 2 000 premières mises à jour, jusqu'à un maximum de 2,5 × 10⁻⁴, puis ramené progressivement à zéro selon un profil en cosinus. Le texte est découpé en unités de sous-mots par un encodage par paires d'octets (byte-pair encoding), technique qui permet de gérer élégamment les mots rares et les formes inconnues sans faire exploser la taille du vocabulaire.

Phase 2 : l'affinage supervisé

Une fois le langage appris, vient la spécialisation. On prend le modèle pré-entraîné et on l'affine sur une tâche précise, à l'aide cette fois de données annotées. Comme le modèle possède déjà une riche compréhension du langage, cet affinage est rapide : les auteurs constatent que trois époques d'entraînement suffisent dans la plupart des cas. C'est un contraste saisissant avec un modèle entraîné de zéro sur les seules données annotées, qui partirait sans aucune connaissance préalable.

Un détail élégant mérite d'être relevé : lors de l'affinage, les auteurs conservent l'objectif de modélisation du langage comme objectif auxiliaire, en plus de l'objectif de la tâche cible. Autrement dit, pendant qu'il apprend à répondre à des questions ou à juger d'une implication logique, le modèle continue en parallèle à prédire le mot suivant. Cette pratique, observent-ils, améliore la généralisation et accélère la convergence. Le modèle ne « désapprend » pas le langage en se spécialisant ; il garde un pied dans sa compétence fondamentale.

Pour l'affinage, la plupart des hyperparamètres du pré-entraînement sont réutilisés tels quels — un signe que la méthode ne réclame pas un réglage laborieux à chaque nouvelle tâche. Les auteurs ajoutent un taux d'abandon (dropout) sur la couche de classification et travaillent avec un taux d'apprentissage réduit, adapté à cette phase de spécialisation. Cette économie de réglage compte : elle rend la méthode reproductible et abordable pour d'autres équipes, qui n'ont pas à réinventer une recette d'entraînement pour chaque problème. La sobriété de la procédure est, en soi, une qualité — elle abaisse la barrière d'entrée pour qui souhaite s'approprier l'approche.

Le pré-entraînement enseigne le langage ; l'affinage enseigne la tâche. La force de la méthode tient à ce que le second s'appuie sur tout ce que le premier a déjà acquis.

L'astuce des transformations d'entrée

Reste une difficulté concrète, et la solution qu'y apporte GPT est l'une de ses contributions les plus pratiques. Les tâches de compréhension du langage ont des formats très différents. Certaines prennent une seule phrase en entrée, d'autres une paire de phrases, d'autres encore un document accompagné d'une question et de plusieurs réponses possibles. Comment un modèle à l'architecture fixe peut-il traiter cette diversité sans qu'on doive lui greffer, pour chaque tâche, une structure spécifique ?

La réponse d'OpenAI est astucieusement simple : transformer chaque entrée structurée en une séquence linéaire ordonnée de tokens que le modèle pré-entraîné peut ingérer tel quel. On ajoute pour cela des tokens spéciaux — un token de début, un token de fin, et surtout des délimiteurs qui séparent les différents segments. Voici comment cela se décline :

• Implication logique (entailment) : on concatène la prémisse et l'hypothèse, en insérant un délimiteur entre les deux. Le modèle lit l'ensemble comme une seule séquence.
• Similarité sémantique : comme l'ordre des deux phrases ne devrait pas importer, on présente les deux ordres possibles (phrase A puis B, et phrase B puis A), chacun avec son délimiteur, et l'on combine les représentations obtenues.
• Question à choix multiples et raisonnement : on concatène le document et la question avec chaque réponse candidate, séparés par un délimiteur, ce qui produit autant de séquences que de réponses possibles ; le modèle attribue un score à chacune.

L'élégance de cette approche, dite « par parcours » (traversal-style), est qu'elle évite d'introduire des composants d'architecture spécifiques à chaque tâche. Le modèle pré-entraîné reste identique ; seule change la manière de mettre en forme l'entrée. On ajoute simplement une petite couche linéaire de sortie pour produire la prédiction finale. Cette minimalité est précieuse : elle rend la méthode facile à transposer d'une tâche à l'autre, et limite le nombre de paramètres à apprendre lors de l'affinage.

Les résultats : un modèle généraliste qui dépasse les spécialistes

Venons-en aux chiffres, car c'est là que la démonstration prend toute sa force. GPT est évalué sur douze tâches réparties en quatre grandes familles : l'inférence en langage naturel, la réponse aux questions, la similarité sémantique et la classification de texte. Le fait remarquable est le suivant : ce modèle unique, générique, dépasse l'état de l'art sur 9 des 12 tâches étudiées — et il le fait alors même que ses concurrents sont, pour la plupart, des architectures conçues sur mesure pour chaque tâche.

Les gains, tâche par tâche

Quelques résultats saillants, tirés de l'article, donnent la mesure de l'avancée :

• Story Cloze Test (raisonnement de bon sens, choisir la bonne fin d'une histoire) : +8,9 % en valeur absolue par rapport au meilleur résultat antérieur — l'écart le plus spectaculaire ;
• RACE (compréhension de lecture et réponse aux questions) : +5,7 % ;
• MultiNLI (inférence en langage naturel) : +1,5 % ;
• QNLI : +5,8 %, et SciTail : +5 % ;
• Benchmark GLUE (agrégation multi-tâches) : +5,5 % ;
• Sur la similarité sémantique, les gains atteignent jusqu'à +4,2 %.

Ce qui frappe dans ce tableau, ce n'est pas tant l'ampleur de chaque gain pris isolément, que leur régularité sur des familles de tâches très différentes. Un modèle qui progresse simultanément en raisonnement de bon sens, en compréhension de lecture et en inférence logique démontre qu'il a acquis quelque chose de général sur le langage, et non une compétence étroite ajustée à un seul type de problème. C'est précisément cette généralité que les auteurs cherchaient à établir.

Il vaut la peine de préciser ce que recouvre chacune de ces familles, car elles éprouvent des facettes distinctes de la compréhension. L'inférence en langage naturel demande au modèle de décider si une phrase (l'hypothèse) découle logiquement d'une autre (la prémisse), la contredit, ou reste neutre par rapport à elle : une capacité de raisonnement fin sur le sens. La réponse aux questions et la compréhension de lecture, illustrées par le jeu RACE issu d'examens d'anglais chinois, exigent d'extraire et de recouper l'information dans un texte pour répondre correctement. La similarité sémantique évalue si le modèle sait juger que deux formulations différentes disent la même chose. La classification de texte, enfin, teste des compétences plus classiques comme l'analyse de sentiment ou la détection de phrases grammaticalement acceptables. Qu'un modèle unique excelle sur cet éventail, sans architecture dédiée à chaque cas, est la véritable démonstration de l'article.

Le Story Cloze Test, où GPT réalise son gain le plus net, illustre bien l'intérêt du pré-entraînement. La tâche consiste à choisir, parmi deux fins possibles, celle qui conclut le plus naturellement une courte histoire de quatre phrases. Réussir suppose une forme de bon sens narratif — comprendre l'enchaînement causal des événements, anticiper une suite plausible. C'est exactement le type de connaissance implicite qu'un modèle glane en lisant des milliers de livres, où les histoires se déroulent selon une logique que le texte, à force, finit par enseigner. Le gain de 8,9 points n'est donc pas un hasard : il récompense précisément ce que le pré-entraînement sur un corpus narratif sait le mieux transmettre.

Un modèle qui apprend avant même l'affinage

Une analyse complémentaire, plus discrète mais riche d'enseignements, concerne le comportement du modèle avant tout affinage. Les auteurs testent GPT en configuration « zero-shot » sur plusieurs tâches, c'est-à-dire sans jamais l'entraîner spécifiquement dessus, en se contentant de formuler la tâche d'une manière que le modèle de langage peut traiter. Le constat est instructif : la performance zero-shot s'améliore de façon régulière au fil du pré-entraînement.

Autrement dit, plus le modèle lit de texte, plus il devient capable, sans aucune supervision, d'accomplir des tâches pour lesquelles il n'a jamais été entraîné explicitement. Cela suggère que le pré-entraînement génératif ne se contente pas d'apprendre des statistiques superficielles sur les mots : il capture une connaissance linguistique et factuelle utile, qui préexiste à toute spécialisation. Ce résultat, presque un effet de bord dans l'article, ouvre une piste de réflexion fascinante sur ce qu'un simple objectif de prédiction du mot suivant peut faire émerger.

Un modèle entraîné à ne faire qu'une chose — prédire le mot suivant — se révèle capable, sans qu'on le lui demande, d'ébaucher des tâches variées. Le signal était là, dans le texte, depuis le début.

Ce que les études d'ablation révèlent

Un bon article de recherche ne se contente pas d'annoncer un score ; il cherche à comprendre pourquoi sa méthode fonctionne. Les auteurs de GPT mènent pour cela plusieurs études d'ablation, où l'on retire un ingrédient pour mesurer son apport réel. Trois enseignements ressortent.

Le transformeur fait la différence

Premier enseignement : le choix du transformeur, plutôt que d'un réseau récurrent, compte. Les auteurs comparent leur architecture à une variante fondée sur un LSTM. Le transformeur l'emporte nettement, en particulier sur les tâches nécessitant de modéliser des relations à longue portée. Cela confirme l'intuition de départ : l'attention, en reliant directement des mots éloignés, sied mieux à la compréhension du langage que la propagation séquentielle d'un réseau récurrent.

Plus de couches transférées, meilleure performance

Deuxième enseignement : la profondeur du transfert importe. Les auteurs mesurent l'effet du nombre de couches du modèle pré-entraîné que l'on réutilise lors de l'affinage. Plus on transfère de couches, meilleure est la performance. Chaque couche du modèle pré-entraîné semble donc contenir une part utile de la connaissance acquise. Ce n'est pas seulement la dernière couche qui est précieuse, mais l'empilement dans son ensemble — un argument fort en faveur d'un pré-entraînement profond.

L'objectif auxiliaire aide

Troisième enseignement : conserver l'objectif de modélisation du langage pendant l'affinage aide, mais surtout sur les grands jeux de données. Sur les tâches disposant de beaucoup d'exemples annotés, cet objectif auxiliaire améliore les résultats ; sur les petits jeux, l'effet est plus ténu, voire absent. Cette nuance est utile pour le praticien : elle indique quand il vaut la peine d'activer ce mécanisme, et quand il est superflu.

La portée de la démonstration

Prenons de la hauteur. Que démontre exactement ce travail, au-delà de ses scores ? Il établit qu'une architecture unique et générique, entraînée d'abord sur du texte brut puis affinée légèrement, peut rivaliser avec — et souvent dépasser — des modèles patiemment conçus pour chaque tâche. C'est un changement de perspective.

Pendant des années, le progrès en traitement du langage passait largement par l'ingénierie de caractéristiques et d'architectures spécifiques : on concevait, pour chaque problème, une structure de réseau adaptée, des représentations dédiées, des astuces particulières. GPT suggère une autre voie : investir massivement dans un pré-entraînement générique, puis se reposer sur cette base commune pour l'ensemble des tâches. Le travail spécifique à chaque tâche se réduit alors à une transformation d'entrée et à une petite couche de sortie.

Cette bascule a des implications concrètes. Elle promet une meilleure exploitation du texte non annoté, ressource abondante et librement disponible, au bénéfice des rares données annotées. Elle laisse entrevoir des systèmes plus faciles à construire, puisqu'une même base sert de point de départ à de nombreuses applications. Et elle pose une question qui va nourrir la recherche des mois à venir : jusqu'où cette approche peut-elle aller si l'on augmente la taille du modèle et la quantité de texte de pré-entraînement ?

Les limites, honnêtement

Il serait malhonnête de taire les limites de ce premier modèle. GPT reste, avec ses 117 millions de paramètres, de taille modeste. Il est entraîné sur un corpus unique de livres, ce qui borne la diversité des styles et des sujets qu'il a rencontrés. Sur 3 des 12 tâches, il ne parvient pas à dépasser l'état de l'art. Et l'affinage supervisé demeure nécessaire pour obtenir les meilleurs résultats : le modèle brut, en zero-shot, esquisse des compétences sans les maîtriser pleinement.

Ces limites ne diminuent en rien l'intérêt du travail ; elles en dessinent le programme de recherche. Chacune ouvre une direction : agrandir le modèle, diversifier le corpus, améliorer les performances sans supervision. Le mérite de GPT n'est pas de clore un sujet, mais d'ouvrir une voie crédible et de la baliser avec rigueur.

Ce que ce travail suggère, en pratique

Pour un praticien du traitement du langage en 2018, quelles leçons tirer de ce travail ? Plusieurs, et elles sont directement actionnables.

D'abord, le pré-entraînement non supervisé devient un point de départ à considérer sérieusement pour toute nouvelle tâche. Plutôt que d'entraîner un modèle de zéro sur un petit jeu de données annotées, il devient raisonnable de partir d'un modèle de langage pré-entraîné et de l'affiner. Le gain observé sur des tâches variées justifie l'effort.

Ensuite, la simplicité des transformations d'entrée mérite d'être adoptée. Plutôt que de concevoir une architecture sur mesure pour chaque format de tâche, on peut linéariser l'entrée avec des délimiteurs et laisser le modèle pré-entraîné faire le travail. Cette approche réduit le coût d'ingénierie et facilite la réutilisation d'un même modèle sur des problèmes différents.

Enfin, le choix du transformeur décodeur s'impose comme une option solide pour la modélisation générative du langage. Les études d'ablation le montrent supérieur aux réseaux récurrents sur ce type de tâche, en particulier lorsqu'il faut relier des éléments distants dans le texte. Pour qui construit un modèle de langage aujourd'hui, c'est une piste de premier plan.

En un mot, la question n'est plus seulement « quelle architecture pour ma tâche ? », mais « quel modèle pré-entraîner, et comment lui présenter ma tâche ? ». Le centre de gravité de la conception se déplace du sur-mesure vers la réutilisation d'une base commune.

Avec le recul (depuis 2026)

Écrit à l'été 2018, cet article décrivait un modèle de recherche discret. Avec le recul des années qui ont suivi, il est devenu clair que GPT posait la première pierre d'une lignée entière. Le principe — pré-entraîner un transformeur décodeur sur du texte brut, puis l'adapter — s'est révélé remarquablement robuste et s'est prolongé, version après version, en modèles de plus en plus grands et capables. La démonstration de 2018, que le passage à l'échelle du pré-entraînement générique améliore la compréhension du langage, s'est confirmée bien au-delà de ce que ses auteurs pouvaient alors mesurer. Rétrospectivement, cet article de douze pages, sobre et méthodique, aura été l'un des textes fondateurs de l'IA générative moderne.

Ce que GPT change dès aujourd'hui

Que retenir de cette lecture ? D'abord, que la contribution de GPT est conceptuelle avant d'être une prouesse de taille. Le modèle est modeste ; c'est la méthode qui est forte. Séparer nettement l'apprentissage du langage (pré-entraînement génératif) de l'apprentissage de la tâche (affinage supervisé) permet d'exploiter l'abondance du texte non annoté au service des rares données étiquetées.

Ensuite, que cette méthode se transpose avec une simplicité désarmante d'une tâche à l'autre, grâce aux transformations d'entrée par délimiteurs. Un même modèle, une même architecture, une petite couche de sortie : le coût d'ingénierie fond, et la réutilisation devient la règle plutôt que l'exception.

Enfin, que les résultats — 9 tâches sur 12 au-delà de l'état de l'art, avec un modèle généraliste face à des spécialistes — valident empiriquement ce pari. Et que le comportement zero-shot, cette capacité naissante à esquisser des tâches sans entraînement dédié, laisse entrevoir un potentiel qui dépasse largement le cadre de l'article. Pour qui suit la recherche en traitement du langage, GPT n'est pas un point d'arrivée, mais une invitation à explorer une direction féconde : celle d'un pré-entraînement générique dont on commence tout juste à mesurer la portée. C'est, au fond, tout l'objet de cette chronique — comprendre les idées qui feront la prochaine génération de modèles, à mesure qu'elles émergent.

Sources

Cet article s'appuie sur des sources publiques et vérifiables :

• Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, « Improving Language Understanding by Generative Pre-Training », OpenAI, 11 juin 2018 — article original (PDF) (architecture, méthode en deux étapes, résultats).
• « GPT-1 », Wikipedia — en.wikipedia.org/wiki/GPT-1 (117 M de paramètres, 12 couches, Adam, calendrier du taux d'apprentissage, gains par tâche).
• Ashish Vaswani et al., « Attention Is All You Need », NeurIPS 2017 — arXiv 1706.03762 (architecture transformeur, encodeur-décodeur, attention).
• Sik-Ho Tsang, « Review — GPT: Improving Language Understanding by Generative Pre-Training » — medium.com (512 tokens, 100 époques, mini-lots de 64, 3 époques d'affinage, transformations d'entrée par délimiteurs, objectif auxiliaire).
• « GPT-1: The Origin of Generative Pre-Training for Language Understanding », Michael Brenndoerfer — mbrenndoerfer.com (contexte historique, BooksCorpus, détails d'entraînement).
• Matthew Peters et al., « Deep contextualized word representations » (ELMo), NAACL 2018 — arXiv 1802.05365 (représentations contextuelles, apprentissage par transfert).
• Jeremy Howard, Sebastian Ruder, « Universal Language Model Fine-tuning for Text Classification » (ULMFiT), ACL 2018 — arXiv 1801.06146 (pré-entraînement d'un modèle de langage puis affinage).