T5 : Google unifie toutes les tâches de langage en un seul modèle texte-à-texte

Traduire une phrase, résumer un article, juger si deux questions posent le même problème, répondre à une interrogation de compréhension : voilà quatre tâches qui, jusqu'ici, réclamaient chacune leur architecture, leur tête de sortie et leur recette d'entraînement. Le 23 octobre 2019, une équipe de Google Research propose de toutes les traiter de la même manière. Dans un article intitulé Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, Colin Raffel, Noam Shazeer, Adam Roberts et leurs collègues décrivent un modèle baptisé T5, pour Text-to-Text Transfer Transformer. Son idée directrice tient en une phrase : convertir tout problème de langage en un problème de texte-vers-texte. L'entrée est du texte, la sortie est du texte, et c'est vrai pour absolument tout.

Ce parti pris peut sembler anodin. Il est en réalité au cœur d'une étude parmi les plus systématiques jamais menées sur l'apprentissage par transfert en traitement du langage. Car T5 n'est pas seulement un modèle : c'est aussi le fruit d'une campagne d'expériences méthodique, où chaque choix — architecture, objectif de pré-entraînement, jeu de données, stratégie de mise à l'échelle — est isolé, comparé et mesuré. Le résultat final, un modèle de 11 milliards de paramètres, atteint l'état de l'art sur une série de références exigeantes. Mais l'apport de T5 dépasse ses scores : il propose une grammaire commune pour penser toutes les tâches de langage, et une méthode rigoureuse pour trancher les débats qui agitaient le domaine.

Cet article propose une lecture posée de cette contribution. Nous verrons d'où vient l'idée du texte-vers-texte, comment fonctionne concrètement le cadre unifié, ce que l'étude d'ablation a réellement établi, et ce que le corpus C4 apporte à l'ensemble. L'objectif est de comprendre pourquoi ce travail marque un jalon — non pas par la seule taille du modèle, mais par la clarté de la démarche.

Un domaine en pleine effervescence

Pour saisir la portée de T5, il faut se replacer dans le paysage de 2019. En deux ans, le traitement du langage a connu une accélération remarquable. Le point de bascule remonte à 2017, avec l'article Attention Is All You Need de Vaswani et ses collègues, qui introduit le Transformer. Cette architecture, entièrement fondée sur le mécanisme d'attention et débarrassée des récurrences, se prête admirablement au calcul parallèle et à la montée en échelle. Elle devient rapidement le socle commun de presque tous les travaux qui suivent.

À partir de là, deux grandes familles se dessinent. D'un côté, les modèles inspirés de GPT, présenté par OpenAI en 2018, qui n'utilisent que la partie décodeur du Transformer et sont entraînés à prédire le mot suivant. De l'autre, BERT, dévoilé par Google fin 2018, qui n'emploie que l'encodeur et apprend en devinant des mots masqués au sein d'une phrase, en tenant compte du contexte à gauche et à droite. BERT bouleverse alors les classements sur les tâches de compréhension du langage : il suffit de le pré-entraîner sur d'immenses volumes de texte, puis de l'affiner sur une tâche précise, pour surpasser les approches spécialisées.

Cette recette — pré-entraînement massif sur du texte non annoté, puis affinage sur une tâche cible — est ce qu'on appelle l'apprentissage par transfert. Elle transforme la discipline. Mais elle s'accompagne d'une prolifération d'options. Faut-il un encodeur seul, un décodeur seul, ou les deux ? Quel objectif de pré-entraînement choisir ? Sur quel corpus s'entraîner, et de quelle taille ? Comment gérer la sortie selon qu'il s'agit d'une étiquette, d'un score, d'une phrase entière ? Chaque équipe apporte ses réponses, souvent difficiles à comparer entre elles, car les protocoles diffèrent sur mille détails.

C'est précisément ce désordre méthodologique que l'équipe de T5 se propose de mettre en ordre. Son ambition n'est pas seulement de battre un record, mais de fournir un cadre unifié dans lequel toutes ces questions puissent être posées et tranchées de façon rigoureuse. Pour cela, il faut d'abord un dénominateur commun. Ce dénominateur, ce sera le texte.

L'idée centrale : tout est du texte

Le cœur de la proposition tient dans une reformulation. Plutôt que d'adapter le modèle à chaque type de tâche, on adapte chaque tâche à un format unique : une chaîne de texte en entrée, une chaîne de texte en sortie. Le modèle, lui, ne change jamais. Seuls les textes qu'on lui présente changent.

Prenons quelques exemples concrets, tels qu'ils figurent dans l'article. Pour une traduction, on donne en entrée « translate English to German: That is good. » et le modèle doit produire « Das ist gut. ». Pour un résumé, l'entrée commence par « summarize: » suivie de l'article, et la sortie est le résumé. Pour juger l'acceptabilité grammaticale d'une phrase (la tâche CoLA), l'entrée est préfixée de « cola sentence: » et le modèle répond littéralement « acceptable » ou « not acceptable ». Pour une tâche de similarité qui attend d'ordinaire un score numérique, le modèle génère… le nombre, écrit sous forme de texte.

Ce détail est révélateur. Même une tâche de régression, qui produit normalement une valeur continue, est traitée comme une génération de texte : le modèle apprend à écrire « 3.8 » comme il écrirait n'importe quel autre mot. Cette uniformité radicale a une conséquence pratique majeure : un seul modèle, une seule fonction de perte, une seule procédure de décodage suffisent pour tout. Nul besoin de têtes de sortie spécialisées ni de mécanismes ad hoc selon le type de résultat attendu.

Le rôle des préfixes de tâche

Comment le modèle sait-il quelle tâche accomplir, puisqu'il reçoit toujours du texte ? Grâce à un court préfixe placé au début de l'entrée. « translate English to German: », « summarize: », « stsb sentence1: » : ces indications textuelles orientent le comportement du modèle. Elles ne sont pas magiques — le modèle apprend, pendant l'affinage, à associer chaque préfixe à la tâche correspondante. Mais elles permettent, avec un vocabulaire commun, de faire cohabiter des tâches très différentes au sein d'un même système.

Cette mécanique de préfixe ouvre une possibilité intéressante : l'entraînement multitâche. Puisque toutes les tâches partagent le même format, on peut mélanger leurs exemples et entraîner le modèle sur l'ensemble simultanément. L'article explore en profondeur cette voie, comme nous le verrons, et compare le multitâche pur au pré-entraînement suivi d'affinage.

En traitant chaque problème de langage comme une conversion de texte en texte, T5 remplace un catalogue d'architectures spécialisées par un cadre unique — et transforme du même coup une collection de recettes disparates en un espace d'expériences comparables.

L'architecture retenue : l'encodeur-décodeur

Sur le plan architectural, T5 fait un choix qui, en 2019, n'a rien d'évident : il conserve la structure complète du Transformer original, avec un encodeur et un décodeur. À l'heure où BERT (encodeur seul) et GPT (décodeur seul) dominent les esprits, revenir à l'architecture encodeur-décodeur est un parti pris assumé.

Le fonctionnement est le suivant. L'encodeur lit l'intégralité du texte d'entrée et en construit une représentation contextuelle, où chaque token peut « voir » tous les autres, à gauche comme à droite. Le décodeur, lui, génère la sortie mot à mot, en consultant à la fois ce qu'il a déjà produit et la représentation fournie par l'encodeur, via un mécanisme d'attention croisée. Cette séparation des rôles — comprendre l'entrée, puis produire la sortie — se marie naturellement avec le format texte-vers-texte, qui distingue toujours un texte source d'un texte cible.

L'étude d'ablation, sur laquelle nous reviendrons, confirme la pertinence de ce choix : l'architecture encodeur-décodeur se révèle plus performante que les variantes à décodeur seul, à budget de calcul comparable. Un point technique mérite d'être signalé : le décodeur double approximativement le nombre de paramètres par rapport à un encodeur seul de même profondeur, mais le coût de calcul reste voisin de celui d'un modèle décodeur-seul de taille équivalente. Autrement dit, on obtient davantage de capacité sans exploser la facture de calcul.

On peut situer ce choix par rapport aux deux familles dominantes du moment. BERT, avec son seul encodeur, excelle à comprendre une entrée mais ne génère pas de texte de manière naturelle : pour lui faire produire une phrase entière, il faut des artifices. GPT, avec son seul décodeur, génère du texte avec fluidité mais ne dispose pas d'un encodeur dédié pour construire une représentation complète et bidirectionnelle de l'entrée. L'encodeur-décodeur de T5 réunit les deux atouts : une lecture bidirectionnelle de l'entrée et une génération libre en sortie. Ce mariage explique pourquoi le format texte-vers-texte s'y déploie si naturellement — il y a toujours, dans ce cadre, un texte à comprendre et un texte à produire, exactement la répartition des rôles que propose l'architecture.

Deux raffinements discrets

T5 introduit également quelques ajustements par rapport au Transformer d'origine. Le plus notable concerne l'encodage des positions. Là où le Transformer initial ajoute des signaux sinusoïdaux fixes pour indiquer la place de chaque mot, T5 adopte des embeddings de position relative simplifiés : plutôt que de coder la position absolue de chaque token, le modèle apprend à représenter la distance entre deux tokens. Cette approche se généralise mieux à des séquences de longueurs variées et se partage élégamment entre toutes les couches d'attention.

La tokenisation, quant à elle, repose sur un vocabulaire de type sous-mots (SentencePiece), de l'ordre de 32 000 unités. Ce découpage en fragments de mots permet de gérer les termes rares ou inconnus sans exploser la taille du vocabulaire, un compromis désormais classique dans le domaine.

C4 : un corpus taillé pour la mise à l'échelle

Un modèle ne vaut que par les données sur lesquelles il apprend. Pour pré-entraîner T5, l'équipe ne se contente pas d'un corpus existant : elle en construit un, spécialement pensé pour être à la fois immense et propre. Ce corpus s'appelle le Colossal Clean Crawled Corpus, ou C4.

Le point de départ est Common Crawl, une archive publique qui capture chaque mois d'énormes quantités de pages web. Brut, ce matériau est inutilisable : il regorge de code, de menus de navigation, de texte incohérent, de contenus dupliqués et de passages inappropriés. L'équipe part d'un instantané d'avril 2019 et lui applique une série d'heuristiques de nettoyage rigoureuses :

• ne conserver que les lignes se terminant par une ponctuation, afin d'écarter les fragments de menus et le texte de remplissage ;
• supprimer les pages trop courtes ou manifestement dénuées de langage naturel ;
• filtrer les contenus contenant des termes d'une liste de mots à proscrire, pour retirer les passages offensants ;
• éliminer le code informatique (par exemple les lignes contenant des accolades) ;
• ne garder que le texte détecté comme étant en anglais avec un bon niveau de confiance ;
• procéder à une déduplication étendue, pour éviter que le modèle ne mémorise des passages répétés à l'identique.

Le résultat est un corpus d'environ 750 gigaoctets de texte anglais de qualité relativement homogène. À titre de comparaison, c'est deux ordres de grandeur plus volumineux qu'un corpus de Wikipédia. Cette taille a une justification précise : elle permet d'entraîner de très grands modèles sur plus d'un billion de tokens sans jamais repasser plusieurs fois sur les mêmes données, ce qui limite le risque de sur-apprentissage par mémorisation.

Fait notable, l'équipe met C4 à disposition de la communauté, aux côtés du code et des modèles. Ce geste a une portée qui dépasse T5 : en fournissant un jeu de données de pré-entraînement documenté et reproductible, l'article offre à d'autres chercheurs un socle commun sur lequel bâtir et comparer leurs propres travaux.

L'objectif de pré-entraînement : le débruitage par corruption de segments

Comment un modèle apprend-il quoi que ce soit à partir de texte brut, sans étiquettes ? Par une tâche auto-supervisée, où le signal d'apprentissage est extrait du texte lui-même. BERT masque des mots isolés et demande de les retrouver. T5 adopte une variante qu'il appelle le débruitage par corruption de segments (span corruption).

Le principe est le suivant. Dans une phrase, on sélectionne au hasard des segments contigus — pas seulement des mots isolés, mais des groupes de plusieurs mots — et on les remplace chacun par un jeton sentinelle unique. Le modèle doit alors produire, en sortie, les segments manquants, chacun précédé de son jeton sentinelle correspondant. Prenons une illustration inspirée de l'article : la phrase « Thank you for inviting me to your party last week » devient, après corruption, « Thank you [X] me to your party [Y] week », et le modèle doit générer « [X] for inviting [Y] last ».

Ce dispositif a plusieurs vertus. D'abord, il s'inscrit parfaitement dans le cadre texte-vers-texte : l'entrée corrompue est un texte, la sortie reconstituée en est un autre. Ensuite, en corrompant des segments plutôt que des mots isolés, on raccourcit la longueur des séquences cibles, ce qui accélère l'entraînement. Enfin, la campagne d'ablation montre que cet objectif offre un excellent compromis entre performance finale et coût de calcul, parmi la douzaine de variantes testées.

L'étude d'ablation : le vrai cœur de l'article

Si T5 mérite qu'on s'y attarde, c'est autant pour sa méthode que pour son résultat. L'article ne se contente pas de présenter un modèle performant : il mène une campagne d'expériences systématique où chaque décision de conception est isolée et évaluée. Pour que ces comparaisons soient équitables, l'équipe fixe une configuration de référence — un modèle de taille modérée entraîné selon un protocole standard — puis fait varier un seul paramètre à la fois. C'est la démarche scientifique appliquée à l'ingénierie des modèles de langage, et c'est ce qui donne à ses conclusions leur solidité.

Ce que l'étude établit

Plusieurs enseignements se dégagent de cette campagne :

• Architecture : l'encodeur-décodeur devance les variantes à décodeur seul et à langage modèle, à budget de calcul égal. L'objectif de débruitage se marie mieux à cette structure qu'à un décodeur pur.
• Objectif de pré-entraînement : parmi les nombreuses variantes de débruitage étudiées, la corruption de segments offre le meilleur équilibre entre qualité et rapidité. Les différences entre objectifs raisonnables restent toutefois modestes — un message rassurant : le choix exact importe moins qu'on ne pourrait le craindre.
• Corpus : la qualité et la diversité des données de pré-entraînement comptent. Les versions filtrées de C4 surpassent les données brutes, et un corpus trop restreint, repassé de nombreuses fois, dégrade les performances par mémorisation.
• Stratégie d'entraînement : le schéma « pré-entraînement multitâche puis affinage » se révèle particulièrement robuste. L'affinage de l'ensemble des paramètres reste préférable aux approches qui n'en ajustent qu'une partie.
• Mise à l'échelle : à budget de calcul supplémentaire donné, augmenter la taille du modèle et la durée d'entraînement rapporte davantage que l'un ou l'autre isolément. La taille demeure l'ingrédient le plus déterminant pour atteindre les meilleurs scores.

Ce dernier point mérite une nuance, que l'article assume avec honnêteté. Beaucoup des innovations testées n'apportent, prises isolément, que des gains marginaux. Le saut de performance final vient surtout de la conjonction de bons choix et d'une mise à l'échelle agressive. C'est une leçon précieuse : dans ce domaine, l'ingéniosité architecturale et l'augmentation des ressources ne s'opposent pas, elles se complètent.

La contribution la plus durable de T5 n'est peut-être pas son modèle de 11 milliards de paramètres, mais la carte qu'il dresse : un inventaire méthodique de ce qui compte vraiment dans l'apprentissage par transfert, débarrassé des effets d'annonce.

Les cinq tailles de T5

Fort de ces enseignements, l'équipe applique la meilleure configuration à cinq modèles de tailles croissantes, ce qui permet d'observer directement l'effet de la mise à l'échelle. Voici les cinq variantes publiées :

Cette gamme n'est pas anodine. En publiant cinq tailles, l'équipe rend son travail utilisable dans des contextes très variés : le modèle Small tient sur du matériel modeste, tandis que le 11B vise les meilleurs scores possibles. Elle permet surtout d'étudier proprement la relation entre taille et performance, en gardant tout le reste constant.

Les résultats : l'état de l'art sur les grandes références

Le modèle T5-11B, entraîné avec la meilleure configuration issue des ablations, établit de nouveaux records sur plusieurs des références les plus scrutées du traitement du langage. Les chiffres rapportés dans l'article sont éloquents.

Sur GLUE, une batterie de neuf tâches de compréhension du langage, T5 atteint un score moyen de 90,3. Mais c'est sur SuperGLUE que le résultat impressionne le plus. SuperGLUE a été conçu précisément pour être difficile pour les machines et facile pour les humains, après que les modèles eurent saturé GLUE. T5 y obtient 88,9, à un souffle du score de référence humain établi à 89,8. Autrement dit, sur un ensemble d'épreuves spécialement pensées pour résister aux modèles, T5 se rapproche du niveau humain.

Sur SQuAD, la référence de compréhension de lecture où le modèle doit extraire la réponse à une question dans un passage, et sur CNN/Daily Mail, une tâche de résumé automatique, T5 établit également de nouveaux records. Ces résultats confirment que le cadre unifié n'est pas qu'une élégance conceptuelle : il permet effectivement d'atteindre le sommet, et ce sur des tâches de natures très différentes — classification, extraction, génération.

La question à livre fermé

Un volet particulièrement instructif concerne la réponse à des questions à livre fermé (closed-book QA). Ici, aucun document n'est fourni : le modèle doit répondre à des questions factuelles en s'appuyant uniquement sur les connaissances emmagasinées durant son pré-entraînement. C'est un test direct de ce que le modèle a « retenu » du web.

Les résultats, publiés dans un travail associé, sont surprenants pour l'époque. Sur TriviaQA, T5 répond correctement à environ 50,1 % des questions ; sur WebQuestions, à 37,4 % ; sur Natural Questions, à 34,5 %. Ces chiffres montrent qu'un modèle de langage suffisamment grand, entraîné sur assez de texte, se comporte en partie comme une base de connaissances implicite. L'information n'est pas rangée dans une table consultable : elle est diffuse dans les paramètres, et le modèle la restitue par génération. Cette observation nourrira une part importante des recherches à venir sur ce que « savent » réellement les grands modèles.

Ce que T5 apporte, au-delà des scores

Il serait réducteur de résumer T5 à une liste de records. Sa portée se mesure surtout à ce qu'il change dans la manière de concevoir et d'utiliser les modèles de langage.

D'abord, le cadre unifié simplifie radicalement la pratique. Un praticien qui adopte T5 n'a plus à choisir une architecture par tâche ni à concevoir des têtes de sortie sur mesure. Il formule sa tâche en texte-vers-texte, applique un préfixe, et affine le même modèle. Cette économie conceptuelle abaisse la barrière d'entrée et rend le transfert d'une tâche à l'autre presque immédiat.

Ensuite, la reproductibilité. L'équipe publie non seulement le modèle, mais aussi le code et le corpus C4, sous licence permissive (Apache 2.0). Ce choix d'ouverture permet à d'autres de vérifier les résultats, de repartir de la même base et d'étendre le travail. Dans un domaine où les protocoles varient d'une équipe à l'autre, disposer d'un point de référence commun est un service rendu à toute la communauté.

Enfin, la méthode elle-même. En menant une étude d'ablation d'une ampleur inhabituelle, l'article établit un ensemble de repères empiriques sur lesquels d'autres pourront s'appuyer. Quand une décision de conception a été testée proprement, on n'a plus à la redébattre à l'aveugle. T5 transforme une somme d'intuitions en connaissances mesurées.

À qui s'adresse ce modèle ?

Concrètement, la palette d'usages est large. Pour une équipe qui cherche à outiller un produit — moteur de recherche interne, classification de tickets, résumé de documents, traduction — la gamme T5 offre un point de départ solide et documenté. On commencera volontiers par T5-Base, qui offre un bon compromis, avant d'envisager une variante plus grande si la tâche l'exige. Le format texte-vers-texte permet de couvrir plusieurs besoins avec une seule chaîne d'outils, ce qui simplifie considérablement la maintenance.

Pour un chercheur, T5 fournit à la fois un modèle de référence et un terrain d'expérimentation. La disponibilité du corpus C4 et du code d'entraînement autorise des études comparatives rigoureuses, dans le prolongement direct de la démarche d'ablation qui a présidé à la conception du modèle.

Lucidité sur les limites

La rigueur de l'article se lit aussi dans la franchise avec laquelle il expose ses limites. Trois points méritent d'être soulignés, dans un esprit d'honnêteté qui fait la valeur de ce travail.

Premièrement, le rôle central de l'échelle. Beaucoup des gains observés tiennent à la taille du modèle et à la durée d'entraînement, davantage qu'à telle ou telle astuce architecturale. C'est un constat à double tranchant : rassurant, car il indique qu'il n'existe pas de « secret » caché ; exigeant, car il rappelle que les meilleurs résultats réclament des ressources de calcul considérables, hors de portée de la plupart des laboratoires.

Deuxièmement, la portée linguistique. Le corpus C4 est essentiellement anglophone, et T5, dans sa version d'origine, est un modèle de l'anglais. Étendre l'approche à d'autres langues demandera un corpus multilingue et des modèles dédiés — un chantier naturel pour la suite.

Troisièmement, la question des connaissances mémorisées. Les résultats à livre fermé sont impressionnants, mais un modèle qui restitue des faits par génération peut aussi se tromper avec aplomb, sans distinguer ce qu'il « sait » de ce qu'il invente. Cette limite, propre à toute la famille des grands modèles génératifs, appelle prudence et vérification dès lors qu'on manipule des faits.

Reconnaître ces limites n'affaiblit en rien la contribution : au contraire, cela en précise le périmètre et guide les travaux futurs. C'est la marque d'une étude solide que de savoir dire ce qu'elle n'a pas résolu.

Avec le recul

(depuis 2026) Les quelques années écoulées ont confirmé la fécondité de l'approche. Le cadre texte-vers-texte a essaimé bien au-delà de T5. La logique consistant à formuler une tâche par une consigne en langage naturel — que l'on retrouve dans les préfixes de T5 — a directement nourri les méthodes d'ajustement par instructions, devenues centrales dans les assistants modernes. La lignée directe du modèle s'est enrichie de déclinaisons multilingues et de versions affinées sur des mélanges de tâches formulées comme des instructions, qui ont nettement amélioré les performances sans réentraînement spécifique. Surtout, T5 a montré que l'architecture encodeur-décodeur restait un choix compétitif, aux côtés des modèles à décodeur seul qui allaient dominer la génération suivante. Le corpus C4, quant à lui, est devenu une brique de pré-entraînement réutilisée et documentée par une large partie de la communauté. Rétrospectivement, la démarche d'ablation systématique apparaît comme l'héritage le plus discret et le plus utile : elle a fixé des repères empiriques sur lesquels de nombreux travaux ultérieurs ont pu s'appuyer.

Un jalon de méthode autant que de performance

Que retenir de T5 ? D'abord, une idée simple et puissante : traiter tout problème de langage comme une conversion de texte en texte. Cette reformulation unifie des tâches jusque-là disparates sous une seule architecture, une seule perte, une seule procédure de décodage. Elle abaisse la complexité conceptuelle du transfert et rend les comparaisons possibles.

Ensuite, une méthode exemplaire. En isolant chaque choix de conception et en le mesurant, l'article transforme un ensemble de débats en connaissances établies. Le modèle de 11 milliards de paramètres, qui atteint l'état de l'art sur GLUE, SuperGLUE, SQuAD et le résumé, n'est que l'aboutissement visible d'une démarche patiente et rigoureuse.

Enfin, un esprit d'ouverture. En publiant le modèle, le code et le corpus C4, l'équipe fait plus qu'annoncer un résultat : elle offre à la communauté un socle commun et vérifiable. Pour un praticien comme pour un chercheur, T5 n'est pas seulement un outil performant ; c'est une invitation à penser les tâches de langage de manière unifiée, et à évaluer ses choix avec méthode. C'est, au fond, ce qui fait d'un bon article un véritable jalon.

Sources

Cet article s'appuie sur des sources publiques et vérifiables :

• C. Raffel, N. Shazeer, A. Roberts et al., « Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer » — arXiv 1910.10683 (article original, soumis le 23 octobre 2019 ; cadre texte-vers-texte, ablations, benchmarks).
• A. Roberts et C. Raffel, « Exploring Transfer Learning with T5: the Text-To-Text Transfer Transformer » — Google Research Blog (C4, closed-book QA, GLUE/SuperGLUE/SQuAD).
• « Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer » — Journal of Machine Learning Research, vol. 21 (2020) (version publiée de l'article).
• « T5 (language model) » — Wikipedia (variantes, embeddings de position relative, licence Apache 2.0, corpus C4).
• « Documentation du corpus C4 » — TensorFlow Datasets (taille ~750 Go, instantané Common Crawl d'avril 2019, heuristiques de filtrage).