Transformers : comment l'attention a tout changé, expliqué à tous

En juin 2017, huit chercheurs, presque tous de Google, publiaient un article au titre volontairement provocateur : « Attention Is All You Need ». Derrière cette formule un peu cavalière se cachait une idée simple et radicale : pour comprendre le langage, une machine n'a peut-être pas besoin de lire les mots un à un, dans l'ordre, comme le faisaient les modèles de l'époque. Elle a surtout besoin de savoir, à chaque instant, quels mots regarder. Ce mécanisme d'« attention » est devenu le cœur d'une architecture appelée le Transformer. Neuf ans plus tard, il est difficile de trouver un assistant conversationnel, un traducteur automatique ou un générateur de texte qui ne repose pas, d'une manière ou d'une autre, sur cette invention.

Cet article propose de raconter le Transformer sans une seule équation intimidante. Nous allons partir du problème que posaient les modèles précédents, comprendre pourquoi l'attention change la donne, puis démonter pièce par pièce la mécanique de l'architecture : les fameux vecteurs requête, clé et valeur, l'attention multi-têtes, l'encodage de position, l'empilement des couches. L'objectif n'est pas de faire de vous un ingénieur en apprentissage profond, mais de vous donner une intuition solide et juste — celle qui permet de lire l'actualité de l'IA en comprenant ce dont on parle.

Un mot de méthode, d'abord. Le Transformer est souvent présenté comme une boîte magique. Il n'en est rien : c'est un assemblage d'idées relativement simples, dont chacune répond à un problème précis. Comprendre l'enchaînement de ces réponses, c'est comprendre pourquoi cette architecture a supplanté tout ce qui existait avant elle, et pourquoi elle demeure le socle commun de l'intelligence artificielle générative d'aujourd'hui.

Avant l'attention : le monde des modèles séquentiels

Pour saisir ce que le Transformer a apporté, il faut d'abord comprendre ce qu'il a remplacé. Pendant les années 2010, la traduction automatique, la reconnaissance vocale et la génération de texte reposaient largement sur une famille de modèles appelés réseaux de neurones récurrents, ou RNN. Leur principe est intuitif : ils lisent une séquence — une phrase, par exemple — mot après mot, en gardant en mémoire un résumé de ce qui a précédé. À chaque nouveau mot, le modèle met à jour cet état interne, un peu comme un lecteur humain qui accumule le sens d'une phrase au fil de sa lecture.

Cette approche a produit des résultats remarquables pour l'époque. Mais elle souffrait de deux limites structurelles, bien documentées, qui allaient finir par la freiner.

La mémoire qui s'efface : le problème des longues dépendances

La première limite concerne la mémoire. Dans une phrase comme « Le chat, qui avait passé toute la journée à dormir sur le rebord de la fenêtre baignée de soleil, miaula », le verbe « miaula » se rapporte au « chat » du début — mais entre les deux, une dizaine de mots se sont intercalés. Pour accorder correctement, le modèle doit conserver l'information « chat » sur toute cette distance.

Or les RNN peinaient précisément à cela. Techniquement, le signal d'apprentissage qui remonte le long de la séquence a tendance à s'affaiblir exponentiellement — un phénomène connu sous le nom de disparition du gradient. Concrètement, plus deux mots sont éloignés dans le texte, plus il devient difficile pour le modèle de relier l'un à l'autre. L'information des premiers mots s'estompe à mesure qu'on avance, comme un écho qui s'éteint.

Une variante plus sophistiquée, la LSTM (mémoire à long et court terme), introduite dès 1997 par Sepp Hochreiter et Jürgen Schmidhuber, avait considérablement atténué ce problème. Grâce à un système de « portes » qui décident quoi retenir et quoi oublier, les LSTM — et leurs cousines les GRU — pouvaient conserver l'information sur des distances bien plus grandes. Elles ont dominé le traitement du langage au début des années 2010. Mais elles ne supprimaient pas totalement la difficulté : sur des textes très longs, maintenir les dépendances lointaines restait un défi.

Le goulet d'étranglement : l'impossible parallélisation

La seconde limite est plus subtile, mais tout aussi décisive — et c'est peut-être elle qui a réellement scellé le sort des RNN. Par nature, un réseau récurrent traite les mots séquentiellement : le calcul du deuxième mot dépend du résultat du premier, celui du troisième dépend du deuxième, et ainsi de suite. Impossible de calculer le dixième mot avant d'avoir calculé les neuf précédents.

Cette contrainte tombe au plus mauvais moment. Les processeurs graphiques (GPU), qui propulsent l'apprentissage profond, tirent leur puissance de leur capacité à effectuer des milliers d'opérations en parallèle. Un modèle qui impose de traiter les mots un par un, dans l'ordre, se prive de cette puissance : il condamne le GPU à attendre. Entraîner un RNN sur des corpus gigantesques devenait alors interminable. On pouvait paralléliser le traitement de plusieurs phrases différentes, mais jamais le traitement des mots à l'intérieur d'une même phrase.

Le problème des RNN n'était pas seulement de mémoire : c'était que leur nature séquentielle les empêchait d'exploiter le parallélisme des processeurs modernes. Le Transformer allait résoudre les deux d'un même geste.

L'idée fondatrice : regarder tous les mots à la fois

Le pari du Transformer tient en une phrase : et si, au lieu de lire les mots dans l'ordre, le modèle les considérait tous simultanément, en établissant directement des relations entre chacun d'eux ? Plus de lecture pas à pas, plus d'état interne qui se dégrade au fil de la séquence. À la place, un mécanisme qui, pour chaque mot, calcule d'un coup à quel point tous les autres mots de la phrase le concernent.

Ce mécanisme s'appelle l'auto-attention (ou self-attention). Le mot « auto » signifie que la phrase s'observe elle-même : chaque mot « regarde » tous les autres mots de la même phrase pour affiner sa propre représentation. C'est une rupture profonde avec la logique récurrente. Là où le RNN faisait circuler l'information de proche en proche, l'attention crée des raccourcis directs entre n'importe quels deux mots, quelle que soit leur distance.

Prenons un exemple classique. Dans la phrase « L'animal n'a pas traversé la rue parce qu'il était trop fatigué », à quoi renvoie « il » ? À « l'animal », évidemment — pas à « la rue ». Un humain le sait instantanément. Le mécanisme d'attention permet au modèle de faire exactement cela : quand il traite le mot « il », certaines têtes d'attention calculent un lien fort avec « animal » et un lien faible avec « rue ». Il apprend, à force d'exemples, à qui se rapporte chaque pronom, quel adjectif qualifie quel nom, quel sujet commande quel verbe.

Et parce que ces liens sont calculés pour tous les mots en même temps, indépendamment les uns des autres, le calcul se parallélise magnifiquement sur un GPU. La distance entre deux mots ne coûte plus rien : relier le premier mot au centième est aussi direct que relier deux mots voisins. Les deux limites des RNN — la mémoire lointaine et la parallélisation — s'effondrent d'un coup. C'est cette double résolution, obtenue par une seule idée, qui explique l'impact du Transformer.

Requête, clé, valeur : la mécanique de l'attention

Comment le modèle décide-t-il, concrètement, quels mots méritent de l'attention ? Le mécanisme repose sur trois rôles, souvent comparés à un système de recherche documentaire. C'est le cœur technique du Transformer, et il vaut la peine de s'y arrêter, car tout le reste en découle.

Une métaphore de bibliothèque

Imaginons une recherche dans une immense bibliothèque. Vous formulez une requête : « livres sur la cuisine italienne ». Chaque ouvrage porte une étiquette, une clé, qui résume son sujet. Le bibliothécaire compare votre requête à toutes les étiquettes et attribue à chacune un score de pertinence. Puis il vous rapporte le contenu — la valeur — des livres, en donnant plus de poids à ceux dont l'étiquette correspondait le mieux à votre demande.

L'attention fonctionne exactement ainsi. Pour chaque mot de la phrase, le modèle génère trois vecteurs distincts, calculés à partir de la représentation du mot :

• Une requête (query) : ce que ce mot « cherche » chez les autres.
• Une clé (key) : ce que ce mot « propose » aux autres, son étiquette.
• Une valeur (value) : l'information que ce mot transmettra s'il est jugé pertinent.

Pour traiter un mot donné, le modèle compare sa requête aux clés de tous les mots de la phrase. Cette comparaison produit un score pour chaque paire : à quel point ce mot doit-il prêter attention à celui-là ? Les scores sont ensuite normalisés — transformés en pourcentages qui totalisent 100 % — de sorte que le modèle répartit une « quantité d'attention » entre tous les mots. Enfin, il compose une nouvelle représentation du mot en mélangeant les valeurs de tous les autres, pondérées par ces scores. Un mot très pertinent contribue beaucoup ; un mot hors sujet, presque rien.

Le résultat est une représentation enrichie par le contexte. Après ce passage, le vecteur du mot « il » ne contient plus seulement l'idée abstraite de « il » : il a absorbé une part de « animal », parce que c'est là que son attention s'est portée. C'est ce mélange, répété pour chaque mot et à chaque couche, qui permet au modèle de construire une compréhension fine des relations dans une phrase.

Le rôle de la mise à l'échelle

Un détail technique mérite d'être mentionné, car son nom même — Scaled Dot-Product Attention, ou attention par produit scalaire mis à l'échelle — figure dans l'article d'origine. Quand les vecteurs deviennent grands, les scores de comparaison peuvent prendre des valeurs très élevées, ce qui déséquilibre la normalisation et rend l'apprentissage instable. Les auteurs divisent donc les scores par un facteur lié à la taille des vecteurs, pour les ramener dans une plage raisonnable. C'est une petite astuce d'ingénierie, invisible pour l'utilisateur, mais qui conditionne la stabilité de tout l'édifice. Le Transformer regorge de ces ajustements pragmatiques : chacun résout un problème concret rencontré à l'entraînement.

L'attention multi-têtes : plusieurs regards en parallèle

Un seul mécanisme d'attention ne capte qu'un type de relation à la fois. Or une phrase est traversée par de multiples dépendances simultanées : grammaticales (quel sujet pour quel verbe ?), sémantiques (quel mot précise le sens de quel autre ?), référentielles (à quoi renvoie ce pronom ?). Demander à une seule « tête » de tout gérer reviendrait à lui confier trop de travail d'un coup.

La solution des auteurs est l'attention multi-têtes (multi-head attention). Plutôt qu'un seul mécanisme d'attention, le modèle en fait tourner plusieurs en parallèle — huit dans l'architecture d'origine — chacun avec ses propres jeux de requêtes, clés et valeurs. Chaque tête apprend à se spécialiser dans un certain type de relation. L'une pourra suivre les liens de proximité, une autre les accords grammaticaux à distance, une troisième les relations de coréférence. À la fin, les résultats des huit têtes sont concaténés et recombinés en une représentation unique.

L'analogie du comité fonctionne bien : au lieu de demander à un seul expert d'analyser une phrase sous tous les angles, on réunit huit spécialistes, chacun scrutant un aspect particulier, puis on fait la synthèse de leurs avis. Le résultat est plus riche et plus robuste que ce qu'un seul regard aurait produit. Point crucial : dans l'architecture d'origine, chaque tête travaille sur des vecteurs de dimension 64, tandis que la représentation globale du modèle est de dimension 512. Multiplier les têtes n'alourdit donc pas le calcul de façon prohibitive — on répartit le travail plutôt qu'on ne le duplique.

L'attention multi-têtes est ce qui permet au Transformer de saisir simultanément la grammaire, le sens et les références d'une phrase — non pas malgré leur diversité, mais grâce à la spécialisation de chaque tête.

L'encodage de position : redonner l'ordre au modèle

Le mécanisme d'attention a une conséquence inattendue. En traitant tous les mots simultanément, sans les lire dans l'ordre, le modèle perd une information capitale : l'ordre des mots. Or « le chien mord l'homme » et « l'homme mord le chien » n'ont pas du tout le même sens. Un système qui ignorerait l'ordre serait aveugle à cette différence.

Comment réintroduire la notion de position sans revenir à un traitement séquentiel ? La réponse est élégante : on ajoute directement à la représentation de chaque mot une information sur sa place dans la phrase. C'est l'encodage positionnel (positional encoding). Concrètement, chaque position — premier mot, deuxième mot, etc. — reçoit une signature numérique unique, générée par une combinaison de fonctions sinusoïdales de fréquences différentes. Cette signature est additionnée à la représentation du mot avant l'entrée dans les couches d'attention.

Le choix de fonctions sinusoïdales n'est pas arbitraire. Il produit des signatures régulières et prévisibles, qui permettent au modèle de raisonner sur les positions relatives : « ce mot est trois positions après celui-là ». Cette propriété aide le modèle à généraliser à des phrases plus longues que celles vues à l'entraînement. Il existe aujourd'hui d'autres façons d'encoder la position — certaines apprises directement par le modèle, d'autres reposant sur des rotations appliquées aux vecteurs — mais l'idée de fond reste la même : injecter, d'une manière ou d'une autre, l'information d'ordre que l'attention, seule, ne fournit pas.

L'architecture complète : encodeur, décodeur et couches empilées

Nous avons désormais toutes les briques. Voyons comment elles s'assemblent pour former le Transformer complet, tel que décrit dans l'article de 2017. L'architecture originelle est conçue pour la traduction et se compose de deux grands blocs : un encodeur et un décodeur.

L'encodeur : comprendre la phrase source

L'encodeur a pour mission de lire la phrase d'entrée — disons une phrase en anglais — et d'en construire une représentation riche, saturée de contexte. Il est composé de six couches identiques empilées. Chaque couche contient deux sous-parties : un module d'attention multi-têtes, puis un petit réseau de neurones classique appliqué à chaque position. Entre ces sous-parties, deux mécanismes stabilisent l'apprentissage : les connexions résiduelles, qui laissent l'information originale contourner chaque module pour ne pas se perdre, et la normalisation, qui maintient les valeurs dans une plage saine.

L'empilement des couches est essentiel. À la première couche, l'attention capte des relations simples et locales. En montant dans les couches, les représentations se combinent et s'abstraient : des motifs de plus en plus complexes émergent, de la syntaxe fine vers le sens global. C'est un peu comme la vision, où les premières couches d'un réseau détectent des contours et les dernières reconnaissent des objets entiers.

Le décodeur : produire la traduction

Le décodeur, lui aussi fait de six couches, génère la phrase de sortie — la traduction en français — mot après mot. Il ressemble à l'encodeur, avec une différence importante : chaque couche contient un troisième module, une attention dite « croisée » qui va puiser dans la représentation produite par l'encodeur. C'est le pont entre les deux blocs : le décodeur consulte en permanence la phrase source pour décider du mot suivant.

Une autre subtilité concerne le décodeur : quand il génère un mot, il ne doit pas avoir le droit de « regarder » les mots qu'il n'a pas encore produits — sinon il tricherait. On applique donc un masquage qui bloque l'attention vers les positions futures. Le modèle ne s'appuie que sur ce qu'il a déjà généré et sur la phrase source. C'est ce mécanisme qui rend possible la génération autorégressive : produire un texte token après token, chacun conditionné par les précédents.

Un chiffre parlant : la taille du modèle d'origine

Il est frappant de constater à quel point le Transformer d'origine était modeste au regard des standards actuels. Le modèle « de base » de l'article comptait environ 65 millions de paramètres, et le modèle « large » environ 213 millions. Des chiffres qui paraissent aujourd'hui minuscules — les grands modèles de langage contemporains se comptent en centaines de milliards de paramètres. Ce n'est donc pas la taille qui a fait la force du Transformer, mais son architecture : une structure si bien conçue qu'elle est restée pertinente à mesure qu'on la faisait grandir de plusieurs ordres de grandeur.

Les résultats qui ont convaincu la communauté

Une idée séduisante ne suffit pas ; encore faut-il qu'elle produise des résultats. Sur ce plan, l'article de 2017 fut sans appel. Les auteurs ont testé leur Transformer sur des tâches de traduction automatique de référence, les campagnes WMT 2014.

• Sur la traduction anglais vers allemand, le Transformer a atteint un score BLEU de 28,4, dépassant les meilleurs modèles publiés jusqu'alors, y compris les approches combinant plusieurs modèles.
• Sur la traduction anglais vers français, il a établi un score BLEU de 41,8.
• Surtout, ces performances ont été obtenues après seulement 3,5 jours d'entraînement sur huit GPU — une fraction du temps et du coût qu'exigeaient les meilleurs modèles récurrents concurrents.

Ce dernier point est capital. Le Transformer n'était pas seulement meilleur ; il était aussi plus rapide et moins coûteux à entraîner, précisément grâce à sa parallélisation. La combinaison des deux — qualité supérieure et efficacité supérieure — rendait le changement irrésistible. Quand une technologie offre à la fois de meilleurs résultats et un coût réduit, l'adoption n'est plus une question de goût, mais de temps.

De la traduction à tout le reste : l'onde de choc

Ce qui rend le Transformer historique, ce n'est pas seulement ce qu'il a accompli en traduction, mais la vitesse à laquelle il s'est répandu bien au-delà. En quelques mois, la communauté a compris que ce mécanisme d'attention n'avait rien de spécifique à la traduction : c'était un outil universel pour traiter des séquences, quelles qu'elles soient.

La lignée BERT et GPT

Deux familles de modèles, apparues en 2018, ont illustré cette universalité en exploitant chacune une moitié de l'architecture :

• GPT (Generative Pre-trained Transformer), dévoilé par OpenAI en juin 2018, reprend la partie décodeur. Il est spécialisé dans la génération de texte : prédire le mot suivant, encore et encore. C'est la lignée qui mènera aux assistants conversationnels que l'on connaît.
• BERT (Bidirectional Encoder Representations from Transformers), publié par Google en octobre 2018, reprend la partie encodeur. Conçu pour la compréhension, il lit une phrase dans les deux sens à la fois et a longtemps propulsé la recherche d'information, la classification et l'analyse de texte.

Ces deux modèles, dans la foulée d'ELMo et d'ULMFiT (début 2018), ont imposé un paradigme, celui du pré-entraînement : on entraîne d'abord un grand Transformer sur des quantités massives de texte non annoté, puis on l'ajuste à des tâches précises. Cette recette — pré-entraîner sur le tout-venant, spécialiser ensuite — est devenue la norme absolue de tout le domaine. En février 2019, GPT-2 démontrait qu'en augmentant la taille du modèle et des données, la qualité du texte généré progressait de façon spectaculaire, ouvrant la voie à l'idée que « grandir » suffisait à s'améliorer.

Au-delà du texte

L'attention ne s'est pas arrêtée au langage. Les chercheurs ont vite constaté qu'une image pouvait, elle aussi, se découper en morceaux traités comme une séquence : ce sont les Vision Transformers, qui appliquent le même mécanisme à la reconnaissance d'images. Le son, la structure des protéines en biologie, le code informatique — partout où l'on peut représenter des données comme une suite d'éléments reliés entre eux, l'attention s'est révélée pertinente. Le Transformer est ainsi devenu une brique architecturale transversale, un dénominateur commun de l'apprentissage profond moderne, bien au-delà de sa vocation initiale.

La véritable portée du Transformer tient à sa généralité : conçu pour la traduction, il s'est révélé capable de traiter le texte, l'image, le son et bien d'autres modalités, avec le même principe de fond.

Pourquoi l'attention a-t-elle vraiment tout changé ?

Prenons de la hauteur. Au-delà des détails techniques, pourquoi cette architecture a-t-elle marqué une bascule aussi nette dans l'histoire de l'intelligence artificielle ? On peut avancer trois raisons complémentaires.

D'abord, l'échelle. Parce qu'il se parallélise nativement, le Transformer se prête à l'entraînement sur des jeux de données et des modèles gigantesques, ce qui était impraticable avec les architectures récurrentes. Cette scalabilité a rencontré une observation empirique majeure — les « lois d'échelle » — selon laquelle la performance des modèles progresse de manière régulière à mesure qu'on augmente la taille du modèle et le volume de données. Le Transformer était l'architecture idéale pour exploiter cette régularité. Sans lui, la course à la taille qui a défini l'IA de ces dernières années aurait été techniquement impossible.

Ensuite, la polyvalence. Une même architecture, quasiment inchangée, sert à traduire, résumer, converser, classer, générer du code ou analyser des images. Cette universalité a concentré les efforts de recherche : au lieu de disperser les progrès sur des dizaines d'architectures spécialisées, toute la communauté a pu améliorer une seule et même fondation, capitalisant les avancées les unes sur les autres.

Enfin, la simplicité conceptuelle. Le mécanisme d'attention, une fois compris, est remarquablement lisible : chaque mot regarde les autres et en retient ce qui compte. Cette clarté a facilité la reproduction, l'enseignement et l'amélioration de l'architecture. Un doctorant pouvait réimplémenter un Transformer et l'adapter à son problème sans avoir à percer les secrets d'un système opaque. Cette accessibilité a accéléré la diffusion des idées dans toute la discipline.

Ce que l'attention ne résout pas (encore)

Aucune architecture n'est parfaite, et l'honnêteté commande de mentionner les défis qui subsistent. Le principal tient au coût de l'attention elle-même. Comparer chaque mot à tous les autres implique un nombre de comparaisons qui croît avec le carré de la longueur du texte : doubler la longueur quadruple le calcul. Pour de très longs documents, cela devient onéreux.

C'est pourquoi une part importante de la recherche vise à rendre l'attention plus économe : attention creuse qui ne compare qu'une sélection de mots, techniques de compression du contexte, mécanismes qui limitent le champ de vision à une fenêtre glissante. L'objectif est toujours le même : conserver la puissance de l'attention tout en maîtrisant son coût sur les longues séquences. Ces travaux sont en cours et progressent régulièrement — signe que l'architecture, loin d'être figée, continue d'évoluer.

Un autre point mérite d'être noté avec nuance : le Transformer excelle à capter des motifs statistiques dans d'immenses corpus, mais il ne « comprend » pas au sens humain du terme. Il modélise des régularités du langage avec une finesse impressionnante, ce qui suffit à produire des textes cohérents et utiles ; c'est une prouesse d'ingénierie, pas une réplique de la cognition humaine. Garder cette distinction à l'esprit permet d'apprécier ces outils à leur juste valeur, sans les surestimer ni les sous-estimer.

Ce qu'il faut retenir

Résumons le chemin parcouru. Avant 2017, les modèles de langage lisaient les mots un par un, séquentiellement, avec deux handicaps : une mémoire qui s'effaçait sur les longues distances et une impossibilité de tirer parti du calcul parallèle. Le Transformer a levé ces deux verrous d'un seul geste, grâce au mécanisme d'attention : chaque mot regarde tous les autres simultanément, en établissant des liens directs quelle que soit la distance.

Cette attention repose sur un trio limpide — requête, clé, valeur — qui fonctionne comme une recherche documentaire : chaque mot cherche, chaque mot propose, et l'information pertinente circule au prorata de la pertinence. Multipliée en plusieurs têtes spécialisées, complétée par un encodage de position pour préserver l'ordre, empilée sur plusieurs couches, cette mécanique construit une compréhension du langage d'une richesse inédite.

Les résultats ont suivi immédiatement — meilleure qualité, entraînement plus rapide — et l'idée a débordé son cadre initial pour irriguer toute l'intelligence artificielle : de la traduction à la conversation, du texte à l'image. Les grands modèles de langage d'aujourd'hui, aussi impressionnants soient-ils, restent les héritiers directs de cette architecture publiée en 2017. Ils l'ont fait grandir, affinée, optimisée — mais le cœur bat toujours au rythme de l'attention.

Pour un lecteur curieux, la bonne posture n'est pas de retenir des formules, mais de garder cette intuition : l'intelligence artificielle générative moderne repose sur une idée aussi simple qu'elle est puissante — savoir, à chaque instant, où porter son attention. Comprendre cela, c'est disposer d'une clé de lecture fiable pour suivre, sans se laisser éblouir, les avancées qui ne manqueront pas de venir.

Sources

Cet article s'appuie sur des sources techniques et pédagogiques publiques et vérifiables :

• Vaswani et al., « Attention Is All You Need » (NeurIPS 2017) — arXiv 1706.03762 (article fondateur : architecture, encodeur-décodeur, attention multi-têtes, résultats WMT 2014).
• Jay Alammar, « The Illustrated Transformer » — jalammar.github.io (explication visuelle de référence : requête/clé/valeur, 8 têtes, dimensions 512 et 64, encodage positionnel).
• « Architecture and Working of Transformers in Deep Learning » — GeeksforGeeks (structure encodeur/décodeur, six couches, auto-attention).
• « Dive into Deep Learning », chapitre Attention Mechanisms and Transformers — d2l.ai (fondements des mécanismes d'attention).
• « RNN vs LSTM vs GRU vs Transformers » — GeeksforGeeks (limites des RNN/LSTM : disparition du gradient, parallélisation ; LSTM 1997).
• « AI Foundations Part 1: Transformers, Pre-Training and Fine-Tuning, and Scaling » — fabricatedknowledge.com (lignée GPT/BERT 2018, paradigme du pré-entraînement, lois d'échelle).