GPT-3 : l'apprentissage par l'exemple qui change la donne

Le 28 mai 2020, une équipe de trente et un chercheurs d'OpenAI a déposé sur arXiv un article au titre volontairement sobre : « Language Models are Few-Shot Learners ». Derrière ce titre se cache GPT-3, un modèle de langage de 175 milliards de paramètres, soit dix fois plus que le plus grand modèle dense publié jusque-là. Mais le chiffre n'est pas le plus intéressant. Ce qui retient l'attention, c'est une capacité inattendue : GPT-3 apprend une nouvelle tâche à partir de quelques exemples glissés dans la consigne, sans le moindre réentraînement. On lui montre trois traductions dans le texte de la question, et il traduit. On lui donne deux exemples de correction grammaticale, et il corrige. Cette faculté, baptisée apprentissage par l'exemple, redessine la manière même dont on utilise un modèle de langage.

Cet article propose une lecture posée de GPT-3 : ce qu'il est, comment il est construit, ce qu'il sait faire, et surtout pourquoi la démonstration compte au-delà de la performance brute. Nous allons décortiquer l'architecture, comprendre le mécanisme d'apprentissage en contexte, lire les résultats domaine par domaine, et examiner les limites que les auteurs eux-mêmes reconnaissent. Que vous soyez chercheur, ingénieur ou simplement curieux de comprendre ce qui se joue en cette fin de printemps 2020, l'objectif est de dépasser les gros titres pour saisir la mécanique réelle.

Un mot de méthode, d'abord. GPT-3 impressionne, et il est tentant d'y voir une rupture magique. Or l'essentiel de l'histoire tient dans une hypothèse patiemment vérifiée : celle de la mise à l'échelle. GPT-3 n'invente presque aucune brique nouvelle. Il pousse une architecture connue à une taille inédite, et observe ce qui émerge. C'est cette démarche — plus que le nombre de paramètres — qui mérite d'être comprise.

De GPT-1 à GPT-3 : une hypothèse tenace

Avant de plonger dans les rouages, il faut situer GPT-3 dans une lignée. Le modèle n'est pas un coup de tonnerre isolé ; il est l'aboutissement d'une conviction que l'équipe d'OpenAI défend depuis 2018, et qu'elle teste, version après version, avec une constance méthodique.

Tout commence avec GPT-1, en 2018 : un transformeur de 117 millions de paramètres, pré-entraîné sur du texte brut puis affiné pour chaque tâche. L'idée maîtresse était déjà là : un modèle qui apprend d'abord la structure du langage sur d'immenses corpus non annotés, puis se spécialise ensuite. En 2019, GPT-2 franchit un cap avec 1,5 milliard de paramètres et montre qu'un modèle suffisamment grand peut accomplir des tâches sans affinage spécifique, simplement en devinant ce qu'on attend de lui. GPT-3 pousse cette logique à son terme : et si l'on multipliait encore la taille par cent ?

L'hypothèse de la mise à l'échelle

La question de fond est simple à formuler. Les modèles de langage s'améliorent de façon régulière et prévisible à mesure qu'on augmente leur taille, la quantité de données et la puissance de calcul. Ces relations, documentées dès le début de 2020 par les travaux sur les lois d'échelle, suggéraient que continuer à grossir devrait continuer à payer. GPT-3 est l'expérience qui teste cette conjecture à une échelle jusque-là inatteignable.

Le pari comporte une part de risque intellectuel. Rien ne garantissait qu'un modèle cent fois plus grand ferait autre chose que produire un texte un peu plus fluide. L'hypothèse forte était qu'à partir d'une certaine taille, des capacités qualitativement nouvelles apparaîtraient — non programmées, non prévues explicitement, mais émergentes. C'est précisément ce que l'article documente : l'apprentissage en contexte, quasi absent des petits modèles, devient remarquablement efficace sur le plus grand.

Cette continuité est importante à saisir. GPT-3 n'est pas un changement de paradigme architectural ; c'est la confirmation empirique d'une intuition défendue depuis deux ans. La cohérence de la démarche — même famille de modèles, même principe de pré-entraînement, taille multipliée à chaque étape — donne à l'expérience une valeur de preuve. On ne compare pas des architectures disparates ; on fait varier un seul paramètre, la taille, et l'on observe.

GPT-3 n'invente pas une méthode nouvelle. Il vérifie, à une échelle inédite, une hypothèse ancienne : grossir suffisamment, c'est parfois faire émerger des capacités qu'on n'avait pas programmées.

L'architecture : du connu, poussé à l'extrême

Une surprise attend qui ouvre le rapport technique en espérant y trouver une révolution d'ingénierie. L'architecture de GPT-3 est, pour l'essentiel, celle de GPT-2. Les auteurs le disent sans détour : mêmes principes, même structure, à une exception près. C'est une leçon en soi.

Un transformeur décodeur, en très grand

GPT-3 est un transformeur de type décodeur seul, autorégressif : il génère le texte token après token, chaque nouveau mot étant prédit à partir de tout ce qui précède. Les caractéristiques du plus grand modèle donnent le vertige :

• 175 milliards de paramètres, contre 1,5 milliard pour GPT-2 — un facteur supérieur à cent en un peu plus d'un an ;
• 96 couches de transformeur empilées ;
• Chaque couche d'attention compte 96 têtes, de dimension 128 chacune ;
• Une dimension de représentation interne de 12 288 ;
• Une fenêtre de contexte de 2 048 tokens, soit la quantité de texte que le modèle peut prendre en compte d'un seul tenant.

La seule modification notable par rapport à GPT-2 concerne le mécanisme d'attention : GPT-3 alterne des couches d'attention dense classique et des couches d'attention creuse à bande locale, une technique héritée du modèle Sparse Transformer. Ce choix allège le coût de calcul de l'attention sur les longues séquences, sans lequel un modèle de cette taille deviendrait impraticable. Pour le reste — initialisation modifiée, pré-normalisation, tokenisation par paires d'octets — tout est repris de la génération précédente.

Huit tailles pour mesurer l'effet d'échelle

Un détail expérimental mérite d'être souligné, car il donne à l'étude sa rigueur. OpenAI n'a pas entraîné un seul modèle géant : l'équipe en a entraîné huit, de tailles croissantes, du plus petit à 125 millions de paramètres jusqu'au plus grand à 175 milliards. Cette gamme n'est pas un caprice ; elle est le cœur de la méthode. En mesurant les mêmes capacités sur toute la série, les chercheurs peuvent tracer des courbes et observer comment une aptitude apparaît, se renforce, ou reste plate à mesure que la taille augmente.

Les paramètres d'entraînement évoluent de manière contrôlée le long de cette gamme. Le plus petit modèle utilise une taille de lot d'un demi-million de tokens et un taux d'apprentissage de 6×10⁻⁴ ; le plus grand monte à une taille de lot de 3,2 millions de tokens et abaisse son taux d'apprentissage à 0,6×10⁻⁴. Ces ajustements suivent une logique connue : plus le modèle est grand, plus on peut lui présenter de données à chaque pas, mais plus il faut avancer prudemment pour ne pas déstabiliser l'entraînement.

Cette conception en escalier a une vertu que l'on sous-estime souvent. Elle transforme une simple démonstration de force — « regardez notre gros modèle » — en une véritable étude scientifique de la mise à l'échelle. Quand on lit que l'apprentissage en contexte s'améliore avec la taille, ce n'est pas une impression : c'est une courbe, mesurée sur huit points, sur des dizaines de tâches. C'est cette rigueur qui rend les conclusions de l'article difficiles à contester.

Les données : un demi-billion de tokens filtrés

Un modèle de cette ambition réclame une quantité de texte à sa mesure. La constitution du corpus d'entraînement est un chantier en soi, où la qualité compte autant que le volume.

Le corpus repose sur cinq sources principales, pondérées avec soin. La plus volumineuse est une version filtrée de Common Crawl, une archive massive du web : dans sa forme brute, elle représente des centaines de milliards de tokens, mais l'équipe l'a nettoyée pour n'en garder que la fraction jugée de bonne qualité, soit environ 410 milliards de tokens encodés. S'y ajoutent WebText2 (des pages web sélectionnées via les liens de Reddit), deux corpus de livres, et l'intégralité de la Wikipédia anglophone.

Pondérer plutôt que tout mélanger

Le point subtil tient à la pondération. Les sources ne contribuent pas à parts égales à l'entraînement. Common Crawl, la plus vaste, fournit environ 60 % des tokens vus par le modèle, mais les corpus de meilleure qualité — Wikipédia, les livres — sont sur-échantillonnés : le modèle les revoit plusieurs fois au cours de l'entraînement, tandis qu'il ne parcourt qu'une fraction de l'immense Common Crawl. L'idée est d'exposer davantage le modèle aux textes soignés et bien structurés, sans se priver de la diversité que seul le web à grande échelle peut offrir.

Au total, l'entraînement porte sur 300 milliards de tokens. Ce chiffre, rapporté à la taille du modèle, illustre déjà une tension que l'article ne masque pas : GPT-3 est peut-être entraîné sur relativement peu de données au regard de son gigantisme. C'est une observation que la communauté approfondira par la suite, mais elle est déjà présente en filigrane dans le rapport de 2020.

Le soin porté à la contamination

Un problème méthodologique guette toute étude de ce genre : la contamination. Si des exemples des jeux de test se trouvent par mégarde dans le corpus d'entraînement, les scores mesurés sont gonflés — le modèle « a déjà vu la réponse ». Les auteurs consacrent une part notable de l'article à cette question. Ils recherchent les chevauchements entre données d'entraînement et jeux d'évaluation, tentent de les retirer, et analysent l'effet résiduel. La démarche n'est pas parfaite, et les auteurs le reconnaissent honnêtement, signalant même un défaut de leur procédure de filtrage. Cette transparence sur les limites méthodologiques est précieuse : elle invite à lire les scores avec la prudence qui s'impose.

L'apprentissage en contexte : le cœur de l'affaire

Nous arrivons à la contribution centrale, celle qui donne son titre à l'article. Le mode d'emploi habituel d'un modèle de langage, jusqu'alors, était en deux temps : on pré-entraîne le modèle sur du texte général, puis on l'affine sur un jeu de données annoté propre à la tâche visée. Cet affinage exige des milliers d'exemples étiquetés et une phase d'entraînement supplémentaire à chaque nouvelle tâche. GPT-3 propose une alternative radicalement plus simple.

Trois régimes, une seule idée

L'article distingue trois manières d'interroger le modèle sans jamais modifier ses poids :

• Zero-shot : on décrit la tâche en langage naturel, sans aucun exemple. « Traduis cette phrase en français : … ». Le modèle s'appuie sur ce qu'il a appris pour deviner ce qu'on attend.
• One-shot : on ajoute un seul exemple résolu avant la question, pour montrer le format attendu.
• Few-shot : on fournit de quelques-uns à quelques dizaines d'exemples dans la consigne, avant de poser la vraie question.

Dans les trois cas, aucun gradient n'est calculé, aucun poids n'est modifié. Tout se passe dans la fenêtre de contexte : le modèle lit les exemples, en infère la règle, et l'applique. C'est ce que les auteurs nomment in-context learning, l'apprentissage en contexte. La tâche est spécifiée entièrement par le texte de la requête.

Pour saisir l'élégance de la chose, une image aide. Un modèle affiné classiquement, c'est un employé qu'on envoie en formation pendant plusieurs jours avant chaque nouvelle mission. GPT-3 en régime few-shot, c'est un collaborateur polyvalent à qui l'on montre deux ou trois exemples au pied levé, et qui comprend aussitôt ce qu'il faut faire. La différence de souplesse est considérable : plus de jeu de données à constituer, plus de phase d'entraînement à lancer, une simple consigne bien rédigée suffit.

L'apprentissage en contexte déplace l'effort : au lieu de réentraîner un modèle pour chaque tâche, on rédige une consigne. La programmation cède la place à la formulation.

Pourquoi la taille est décisive

Le résultat le plus frappant de l'étude tient dans une courbe. L'écart de performance entre le mode zero-shot et le mode few-shot se creuse à mesure que le modèle grandit. Sur les petits modèles, montrer des exemples n'apporte presque rien. Sur GPT-3 175B, l'apport devient massif. Autrement dit, la capacité à apprendre par l'exemple n'est pas une propriété fixe : elle émerge avec l'échelle. Un petit modèle « voit » les exemples mais ne sait pas vraiment s'en servir ; le grand modèle, lui, en extrait la règle sous-jacente.

C'est ce point qui donne tout son sens à l'hypothèse de départ. La mise à l'échelle ne se contente pas de rendre le texte plus fluide ; elle fait apparaître une aptitude nouvelle, l'apprentissage en contexte, qui change la nature même de l'outil. On tenait là la démonstration recherchée : à partir d'une certaine taille, quelque chose de qualitativement différent se produit.

Ce que GPT-3 sait faire, et à quel point

L'article évalue GPT-3 sur des dizaines de bancs d'essai, couvrant un large éventail de tâches de langage. Le tableau est contrasté, et c'est cette nuance qui le rend intéressant. GPT-3 brille sur certaines familles de tâches, reste dans la moyenne sur d'autres, et échoue sur quelques-unes. Passons en revue les faits saillants tels que le rapport les documente.

Génération et complétion de texte

Là où GPT-3 impressionne le plus, c'est dans la génération de texte cohérent sur de longues étendues. L'article rapporte une expérience devenue emblématique : des articles de presse courts générés par le modèle sont soumis à des évaluateurs humains, chargés de deviner s'ils ont été écrits par une machine ou par une personne. Pour les productions du plus grand modèle, les évaluateurs peinent à faire la distinction : leur taux de bonne détection frôle le hasard. C'est un jalon marquant pour la génération de texte longue.

Traduction, questions-réponses, tâches cloze

Sur la traduction, GPT-3 obtient en few-shot des résultats notables, particulièrement quand il s'agit de traduire vers l'anglais — ce qui n'a rien d'étonnant vu la composition anglophone dominante de son corpus. Sur les tâches de questions-réponses en domaine ouvert, où il faut répondre à des questions factuelles sans document fourni, le modèle mobilise les connaissances emmagasinées pendant le pré-entraînement et atteint des scores respectables. Sur les tâches dites « cloze », qui consistent à compléter un texte à trous, il se montre à l'aise, ce qui rejoint sa nature de modèle génératif.

Des prouesses inattendues, et des limites franches

L'article réserve quelques surprises. GPT-3 se révèle capable de réaliser de l'arithmétique simple sur de petits nombres, alors que rien dans son entraînement ne l'y destinait explicitement — il l'a « attrapé » au passage. Il déchiffre des mots dont les lettres ont été mélangées, corrige des fautes, et produit même de courts programmes à partir d'une description en langage naturel, laissant entrevoir des usages qui se développeront par la suite.

Mais les limites sont réelles, et les auteurs ne les dissimulent pas. Sur les tâches d'inférence en langage naturel — déterminer si une phrase découle logiquement d'une autre — GPT-3 reste médiocre, à peine au-dessus du hasard sur certains jeux. L'arithmétique déraille dès que les nombres grandissent. La cohérence sur de très longs passages finit par se déliter, avec des répétitions ou des contradictions. Et sur les tâches exigeant un raisonnement en plusieurs étapes, le modèle montre ses limites. Ces faiblesses ne sont pas des détails : elles dessinent les contours de ce que la mise à l'échelle, seule, ne suffit pas à résoudre.

Le coût et l'échelle de l'entreprise

Entraîner un modèle de 175 milliards de paramètres n'est pas à la portée de tous, et il vaut la peine de mesurer l'ampleur de l'effort. Le rapport technique fournit des indications sur les ressources de calcul mobilisées, exprimées en opérations flottantes cumulées. Le nombre est colossal : l'entraînement de GPT-3 représente plusieurs milliers de fois le calcul nécessaire aux premiers modèles de la lignée.

Cette démesure a une conséquence importante, que l'article ne cache pas. Compte tenu du coût, les modèles n'ont pas été entraînés de manière optimale au sens strict : on ne relance pas un entraînement de cette envergure pour ajuster un réglage. Les auteurs signalent d'ailleurs qu'une fois un défaut détecté dans le traitement des données, il n'était pas envisageable de tout recommencer. Cette contrainte matérielle façonne la recherche elle-même : à cette échelle, chaque run compte, et l'expérimentation devient un exercice de planification minutieuse.

Elle soulève aussi une question de fond que la communauté commence à formuler : celle de l'accessibilité. Si repousser la frontière suppose des budgets de calcul de cet ordre, qui pourra reproduire, vérifier, prolonger ces travaux ? L'article, en publiant en détail son architecture et ses résultats, apporte une réponse partielle : à défaut de pouvoir tout réentraîner, la communauté peut au moins comprendre et discuter. Cette transparence documentaire est une forme de contribution en soi.

De l'article à l'outil : l'accès par une interface

Un modèle aussi lourd pose une question pratique immédiate : comment le mettre entre les mains de ceux qui voudraient l'essayer ? On ne télécharge pas 175 milliards de paramètres pour les faire tourner sur une machine ordinaire. La réponse qu'OpenAI s'apprête à donner marque, elle aussi, un tournant dans la manière de diffuser la recherche en IA.

Plutôt que de publier les poids du modèle, l'organisation choisit de proposer un accès à distance, par une interface de programmation. L'idée est simple : le modèle demeure hébergé sur l'infrastructure d'OpenAI, et l'on interagit avec lui en lui envoyant du texte et en recevant sa réponse. Cette approche déplace la barrière technique. Il n'est plus nécessaire de disposer d'un parc de calcul massif ni d'une expertise pointue en déploiement de grands modèles ; une requête bien formulée suffit. Pour un développeur ou un chercheur, la différence est considérable : la puissance d'un modèle de 175 milliards de paramètres devient exploitable depuis un ordinateur modeste.

Une ouverture progressive et encadrée

L'accès s'ouvrira par étapes, sous la forme d'une phase de test réservée dans un premier temps à des entreprises et à des équipes de recherche. Ce choix d'une diffusion mesurée n'est pas anodin. Il prolonge la prudence déjà observée avec GPT-2, dont la version complète n'avait été publiée qu'après une période d'observation. La logique est de comprendre les usages réels, d'outiller le contrôle du contenu produit, et d'étudier les questions de sûreté avant toute mise à disposition large. On tient là une conception du déploiement où l'ouverture s'accompagne d'un cadre, plutôt que de tout livrer d'un coup.

Cette manière de procéder inaugure un modèle qui inspirera l'ensemble du secteur : le grand modèle comme service, accessible par une interface, plutôt que comme fichier à télécharger. Pour l'écosystème, l'effet est double. D'un côté, la barrière d'entrée s'abaisse pour l'immense majorité des utilisateurs, qui n'ont plus à maîtriser l'infrastructure. De l'autre, la maîtrise du modèle reste centralisée, ce qui soulève à son tour des questions — sur la reproductibilité, sur la dépendance à un fournisseur — que la communauté continuera de débattre. Quoi qu'il en soit, le message est clair : la manière de distribuer un modèle compte autant que le modèle lui-même.

Les limites reconnues, et l'honnêteté du propos

Un aspect remarquable de l'article est la longueur de sa section consacrée aux limites et aux enjeux plus larges. Loin de se contenter d'exhiber des scores flatteurs, les auteurs consacrent des pages entières à ce que GPT-3 ne sait pas faire et aux précautions que son existence appelle. Cette posture mérite d'être soulignée.

Ce que le modèle ne maîtrise pas

Au-delà des faiblesses déjà citées, les auteurs pointent des limites structurelles. GPT-3 n'a aucun ancrage dans le monde réel : il manipule des mots sans expérience sensorielle, ce qui explique certaines incohérences de bon sens. Sa nature autorégressive — prédire le mot suivant, toujours vers l'avant — le prive d'une capacité de relecture et de révision globale. Et l'efficacité de son apprentissage reste faible au regard d'un humain : il a fallu lui présenter une quantité astronomique de texte pour atteindre ces performances, là où une personne apprend une langue avec une exposition infiniment moindre.

Un regard sur les usages et les biais

L'article aborde aussi, avec sérieux, la question des usages problématiques et des biais. Un modèle capable de produire du texte difficile à distinguer d'une production humaine ouvre des usages qu'il convient d'anticiper. Les auteurs analysent également les biais présents dans les productions du modèle — liés au genre, à l'origine, à la religion — hérités des textes d'entraînement. Ils mesurent ces biais, les documentent, et invitent à la vigilance. Cette section, riche et nuancée, témoigne d'une prise de conscience : la puissance d'un outil appelle une réflexion sur ses conditions d'emploi. C'est un apport aussi important que les résultats techniques eux-mêmes.

La partie la plus instructive de l'article n'est peut-être pas la liste des prouesses, mais celle des limites : les auteurs y montrent ce que la seule mise à l'échelle ne résout pas.

Ce que la démonstration change, en pratique

Passons du laboratoire au terrain. Quelles conséquences concrètes cette publication porte-t-elle pour qui travaille avec des modèles de langage ?

La première tient à un déplacement du savoir-faire. Jusqu'ici, exploiter un modèle de langage supposait de maîtriser l'affinage : constituer un jeu de données annoté, lancer un entraînement, régler les hyperparamètres. Avec l'apprentissage en contexte, une part de cet effort se déplace vers la rédaction de la consigne. Bien formuler une requête, choisir les bons exemples à y glisser, structurer la demande : ces compétences deviennent déterminantes. Une nouvelle manière d'interagir avec les modèles se dessine, plus accessible, moins gourmande en données annotées.

La deuxième conséquence touche à la polyvalence. Un même modèle, sans modification, peut passer de la traduction à la synthèse, de la question-réponse à la génération de code. Là où l'on entraînait auparavant un modèle par tâche, un seul système généraliste couvre désormais un large spectre. Pour un praticien, cela change la façon de concevoir un projet : on part d'un modèle unique et l'on explore ce qu'une bonne consigne permet d'obtenir, avant d'envisager toute solution plus lourde.

La troisième, enfin, relève de la méthode d'évaluation. L'article rappelle une exigence de rigueur : un score sur un banc d'essai ne vaut rien sans son protocole. Le régime testé — zero, one ou few-shot —, le nombre d'exemples, leur formulation, la question de la contamination : autant de facteurs qui pèsent sur les chiffres. La bonne posture consiste à tester le modèle sur ses propres cas d'usage plutôt qu'à se fier à un classement global. GPT-3 excelle sur certaines familles de tâches et pas sur d'autres ; connaître cette carte fine importe davantage qu'un score moyen.

Ce que GPT-3 nous apprend, ici et maintenant

Que retenir de cette lecture, en cette fin de printemps 2020 ? D'abord, que l'hypothèse de la mise à l'échelle vient de recevoir une confirmation éclatante. En multipliant la taille par plus de cent tout en gardant l'architecture quasi inchangée, l'équipe d'OpenAI a fait apparaître une capacité que les petits modèles ne possédaient pas : l'apprentissage en contexte. Ce n'est pas un progrès graduel de plus, c'est une aptitude qualitativement nouvelle, émergée de la seule échelle. La leçon est forte : parfois, faire plus grand, ce n'est pas seulement faire mieux, c'est faire autre chose.

Ensuite, que la nuance vaut mieux que l'enthousiasme aveugle. GPT-3 impressionne sur la génération de texte, la traduction vers l'anglais, la complétion et certaines tâches factuelles. Il reste limité sur le raisonnement en plusieurs étapes, l'inférence logique fine, l'arithmétique sur de grands nombres et la cohérence sur de très longs passages. Cette carte des forces et des faiblesses est plus utile qu'un verdict global. Un praticien avisé s'en servira pour choisir ses batailles, en réservant le modèle aux tâches où il excelle réellement.

Enfin, que la démarche compte autant que le résultat. La rigueur de l'étude — huit tailles de modèles, des dizaines de bancs d'essai, une analyse sérieuse de la contamination et des biais — donne à ses conclusions une solidité rare. Et la manière dont le modèle sera diffusé, par un accès encadré plutôt que par une publication brute, inaugure une façon nouvelle de mettre la recherche en IA à disposition. Pour qui veut comprendre où va cette discipline, GPT-3 offre bien plus qu'un score record : il offre une méthode, une leçon d'humilité sur les limites, et un aperçu des questions — d'accès, d'évaluation, d'usage — qui structureront les années à venir.

Avec le recul

Cette section, ajoutée après coup, éclaire brièvement la portée de GPT-3 (depuis 2026). L'apprentissage en contexte décrit dans l'article de mai 2020 est devenu la manière ordinaire d'utiliser les modèles de langage : rédiger une consigne assortie de quelques exemples s'est imposé comme une compétence à part entière. Le passage d'un modèle-fichier à un modèle-service, esquissé avec l'interface d'accès de 2020, s'est généralisé et a nourri toute une génération d'applications. Et les limites que les auteurs pointaient — raisonnement en plusieurs étapes, cohérence longue, ancrage dans le réel — ont défini l'agenda de recherche des années suivantes. Avec le recul, l'article de 2020 se lit moins comme l'annonce d'un modèle que comme la formulation d'un programme.

Sources

Cet article s'appuie sur des sources techniques publiques et vérifiables :

• Tom B. Brown et al., « Language Models are Few-Shot Learners » — arXiv 2005.14165 (article original de GPT-3, déposé le 28 mai 2020 ; architecture, données, apprentissage en contexte, résultats et limites).
• « Language Models are Few-Shot Learners » — Actes NeurIPS 2020 (version publiée de l'article).
• NVIDIA Technical Blog, « OpenAI Presents GPT-3, a 175 Billion Parameters Language Model » — developer.nvidia.com (synthèse des caractéristiques du modèle).
• InfoQ, « OpenAI Announces GPT-3 AI Language Model with 175 Billion Parameters » — infoq.com (couverture technique de l'annonce).
• TechCrunch, « OpenAI makes an all-purpose API for its text-based AI capabilities » — techcrunch.com (annonce de l'API OpenAI, 11 juin 2020).