BERT : Google apprend aux machines à comprendre le sens des phrases

Le 11 octobre 2018, une équipe de Google AI Language dépose sur arXiv un article au titre austère : « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ». En quelques semaines, ce sigle de quatre lettres s'impose comme la référence du traitement automatique du langage. La raison tient en un chiffre : sur GLUE, la batterie de tests la plus scrutée du domaine, BERT relève l'état de l'art de 7,7 points d'un seul coup — un écart considérable dans une discipline où l'on progresse d'ordinaire par fractions de point. Sur la tâche de compréhension de lecture SQuAD, il dépasse le score obtenu par des annotateurs humains, l'un des tout premiers modèles à y parvenir. Derrière ces résultats se cache une idée simple, presque évidente une fois formulée : pour comprendre un mot, il faut regarder ce qui le précède et ce qui le suit.

Cet article propose de comprendre ce qu'est réellement BERT, pourquoi son approche marque une rupture avec les modèles antérieurs, et ce que ses résultats signifient concrètement. Nous allons décortiquer son architecture, ses deux objectifs d'entraînement, les données sur lesquelles il apprend, puis lire ses performances tâche par tâche. Que vous soyez ingénieur en apprentissage automatique, chercheur en linguistique computationnelle, ou simplement curieux de saisir ce qui bouge dans l'IA du langage, l'objectif est de vous donner les clés pour aller au-delà des gros titres — et de mesurer précisément ce que « comprendre le sens des phrases » veut dire pour une machine en cette fin d'année 2018.

Un mot de méthode. BERT n'est pas né dans le vide : il s'inscrit dans une lignée d'idées — le mécanisme d'attention, les représentations pré-entraînées, l'apprentissage par transfert — que plusieurs équipes ont fait mûrir en parallèle. Nous verrons d'où viennent ces briques, ce que BERT y ajoute de vraiment nouveau, et pourquoi la combinaison, plus que chaque pièce prise isolément, produit un effet de rupture.

Le contexte : où en est l'IA du langage en 2018

Pour saisir la portée de BERT, il faut d'abord situer le décor. Depuis quelques années, le traitement automatique du langage vit une transformation profonde. Le point de bascule a été l'article « Attention Is All You Need », publié par une équipe de Google en 2017, qui introduit le Transformer — une architecture de réseau de neurones fondée entièrement sur un mécanisme d'attention, capable de mettre en relation tous les mots d'une phrase entre eux, sans passer par le traitement séquentiel des réseaux récurrents. Cette architecture se prête magnifiquement au calcul parallèle et capture des dépendances à longue distance que les modèles précédents peinaient à saisir.

En parallèle, une autre idée fait son chemin : l'apprentissage par transfert. Plutôt que d'entraîner un modèle depuis zéro pour chaque tâche — analyse de sentiment, réponse à des questions, traduction — on pré-entraîne d'abord un grand modèle sur d'immenses quantités de texte non annoté, pour lui faire acquérir une connaissance générale de la langue. On l'affine ensuite, avec relativement peu de données, sur la tâche visée. Cette approche, qui a fait la fortune de la vision par ordinateur, commence à porter ses fruits dans le langage.

Deux prédécesseurs importants

Deux modèles balisent le terrain juste avant BERT, et il est utile de les comprendre, car BERT se définit en partie par contraste avec eux.

• ELMo (Embeddings from Language Models), présenté début 2018 par l'Allen Institute, produit des représentations de mots qui tiennent compte du contexte. Son ingéniosité : entraîner deux réseaux récurrents, l'un lisant la phrase de gauche à droite, l'autre de droite à gauche, puis concaténer leurs sorties. La bidirectionnalité y est réelle, mais superficielle : les deux directions sont apprises séparément, puis assemblées. Le modèle ne conditionne jamais, dans une même couche, sur les deux côtés à la fois.
• OpenAI GPT (Generative Pre-Training), publié mi-2018, applique le Transformer à l'apprentissage par transfert avec une élégance remarquable. Mais il reste unidirectionnel : chaque mot n'est prédit qu'à partir des mots qui le précèdent, de gauche à droite. C'est cohérent avec sa vocation générative — produire du texte mot après mot — mais cela le prive du contexte droit lorsqu'il s'agit de simplement comprendre une phrase.

C'est précisément dans cet interstice que BERT s'installe. Son intuition fondatrice : pour beaucoup de tâches de compréhension, la contrainte de gauche à droite est un handicap arbitraire. Quand on lit le mot « banque » dans « je vais retirer de l'argent à la banque au bord de la rivière », le sens ne se fixe qu'en intégrant les indices situés de part et d'autre. Un modèle qui ne regarde qu'un côté travaille les yeux à moitié fermés.

L'idée maîtresse de BERT tient en une phrase : conditionner chaque représentation de mot, simultanément et en profondeur, sur son contexte gauche et son contexte droit — ce que ni ELMo ni GPT ne faisaient vraiment.

L'architecture : un empilement de Transformers bidirectionnels

Sur le plan structurel, BERT ne réinvente pas la roue, et ses auteurs l'assument volontiers : il reprend l'encodeur du Transformer standard. Ce qui change, c'est la façon de l'entraîner. Commençons par l'ossature.

BERT est un empilement de couches d'encodeur Transformer. L'article présente deux tailles, pensées pour des usages différents :

• BERT-Base : 12 couches d'encodeur, une dimension cachée de 768, 12 têtes d'attention, soit environ 110 millions de paramètres. Cette taille est choisie pour être directement comparable à OpenAI GPT, afin d'isoler l'effet de la bidirectionnalité.
• BERT-Large : 24 couches, une dimension cachée de 1024, 16 têtes d'attention, soit environ 340 millions de paramètres. C'est la version qui décroche les meilleurs scores.

Chaque couche applique le même mécanisme : une attention multi-têtes qui met chaque mot en relation avec tous les autres mots de la séquence, suivie d'un réseau dense. En empilant ces couches, le modèle construit des représentations de plus en plus abstraites — des couches basses qui captent surtout la morphologie et la syntaxe, vers des couches hautes qui encodent le sens et les relations à longue portée.

Le rôle décisif du [CLS] et du [SEP]

BERT introduit une petite mécanique de représentation qui se révèle très pratique. Chaque séquence d'entrée commence par un jeton spécial, [CLS]. Après passage dans le modèle, la représentation associée à ce jeton sert de résumé de toute la séquence : pour une tâche de classification, il suffit de brancher une couche de sortie sur ce vecteur. Un second jeton, [SEP], sépare deux phrases lorsque la tâche en met deux en jeu — par exemple pour juger si une hypothèse découle d'une prémisse. Cette convention permet de traiter, avec la même architecture, aussi bien des entrées à une phrase qu'à deux phrases.

La tokenisation WordPiece

BERT ne travaille pas directement sur des mots entiers, mais sur des unités sous-lexicales via l'algorithme WordPiece, avec un vocabulaire d'environ 30 000 jetons. Un mot rare ou inconnu est décomposé en morceaux connus : « embarquement » pourrait devenir « embarqu » + « ement ». Cet artifice résout un problème récurrent — celui des mots hors vocabulaire — tout en gardant une taille de vocabulaire raisonnable. Le modèle n'est jamais totalement démuni face à un terme qu'il n'a jamais vu : il le reconstruit à partir de fragments familiers.

Les deux objectifs d'entraînement : masquer et prédire

Voici le cœur de l'innovation. Comment entraîner un modèle à être vraiment bidirectionnel ? Le problème est plus subtil qu'il n'y paraît. Un modèle de langage classique apprend en prédisant le mot suivant à partir des précédents. Si l'on donnait à un modèle bidirectionnel accès à toute la phrase, y compris le mot à prédire, la tâche deviendrait triviale : le mot pourrait « se voir lui-même » à travers les couches. Il faut donc une astuce.

Le Masked Language Model : le jeu du texte à trous

La solution de BERT s'appelle le Masked Language Model (MLM), et elle est d'une simplicité désarmante. Avant de donner une phrase au modèle, on masque au hasard environ 15 % des jetons, en les remplaçant par un jeton spécial [MASK]. La tâche du modèle consiste à deviner les mots cachés à partir de tout le reste de la phrase — à gauche comme à droite.

Prenons un exemple. On présente au modèle : « le chat s'est assis sur le [MASK] ». Pour retrouver « tapis », BERT peut s'appuyer sur « chat », « assis », « sur » — le contexte gauche — mais aussi sur tout ce qui suivrait dans une phrase plus longue. C'est exactement le genre de raisonnement contextuel qu'un modèle unidirectionnel ne peut pas mener. Ce jeu du texte à trous, répété des milliards de fois, force le modèle à construire une compréhension profonde des régularités de la langue.

Les auteurs ajoutent un raffinement pour éviter un écueil. Le jeton [MASK] n'apparaît jamais lors de l'affinage sur une tâche réelle : si le modèle ne s'entraînait qu'à voir des [MASK], il souffrirait d'un décalage entre entraînement et usage. Aussi, parmi les 15 % de jetons choisis, seuls 80 % sont réellement remplacés par [MASK] ; 10 % sont remplacés par un mot aléatoire, et 10 % sont laissés intacts. Cette petite entorse oblige le modèle à maintenir une représentation riche de chaque jeton, sans se reposer paresseusement sur la présence d'un masque. C'est le genre de détail d'ingénierie qui distingue une idée qui marche d'une idée qui marche bien.

La Next Sentence Prediction : apprendre les liens entre phrases

Le second objectif vise une compétence différente : comprendre la relation entre deux phrases. Beaucoup de tâches importantes — répondre à une question à partir d'un paragraphe, juger si une phrase en implique une autre — reposent sur cette capacité, qu'un simple modèle de mots ne capture pas directement.

La Next Sentence Prediction (NSP) est là pour cela. Pendant l'entraînement, on présente au modèle des paires de phrases. Dans la moitié des cas, la seconde phrase suit réellement la première dans le texte d'origine ; dans l'autre moitié, c'est une phrase tirée au hasard ailleurs. Le modèle doit prédire, via le vecteur [CLS], si la seconde phrase est une suite plausible ou non. En s'entraînant sur cette tâche binaire, BERT apprend à modéliser la cohérence discursive — le fil qui relie les phrases entre elles.

Ces deux objectifs sont optimisés conjointement, sur les mêmes données. Le résultat est un modèle qui comprend à la fois la structure fine des phrases (grâce au MLM) et leur enchaînement (grâce à la NSP). C'est cette double compétence qui explique la polyvalence spectaculaire de BERT sur des tâches très différentes.

Masquer des mots pour forcer la lecture dans les deux sens, et deviner l'ordre des phrases pour saisir leur enchaînement : deux jeux d'apprentissage tout simples, dont la combinaison produit une compréhension du langage remarquablement profonde.

Les données et le pré-entraînement

Un modèle ne vaut que par ce qu'il lit. BERT est pré-entraîné sur un corpus de texte non annoté d'environ 3,3 milliards de mots, issu de deux sources complémentaires :

• le BooksCorpus, un ensemble d'environ 800 millions de mots tirés de romans et de livres, qui apporte une langue narrative, riche en récits et en dialogues suivis ;
• la Wikipédia anglaise, environ 2,5 milliards de mots, qui apporte une langue encyclopédique, factuelle et structurée. Seul le texte des articles est conservé, à l'exclusion des listes, tableaux et en-têtes.

Ce mélange n'est pas anodin. La combinaison d'un registre littéraire et d'un registre encyclopédique donne au modèle une exposition large aux différentes façons dont la langue est employée. Et surtout, ces données sont non annotées : aucun humain n'a eu à les étiqueter. C'est là toute la force du pré-entraînement auto-supervisé — il puise dans l'immense réservoir de texte brut disponible, sans le coûteux travail d'annotation manuelle qui bride tant de projets d'apprentissage supervisé.

Le coût de calcul

Entraîner un tel modèle demande une puissance de calcul considérable pour l'époque. BERT est entraîné sur des TPU, les accélérateurs matériels de Google conçus pour l'apprentissage profond. La version Base a été entraînée sur 4 Cloud TPU (16 puces au total) et la version Large sur 16 Cloud TPU (64 puces), pour une durée de l'ordre de quatre jours dans chaque cas, sur environ 40 passes du corpus complet. C'est un investissement lourd — hors de portée d'un individu — mais il n'est à consentir qu'une seule fois. Une fois le modèle pré-entraîné et ses poids publiés, quiconque peut l'affiner sur sa propre tâche avec des ressources modestes, en quelques heures sur une seule carte graphique. C'est ce découplage entre un pré-entraînement coûteux, mutualisé, et un affinage bon marché, démultiplié, qui fait tout l'intérêt pratique de l'approche.

L'affinage : un modèle, d'innombrables tâches

Voici sans doute l'aspect le plus séduisant de BERT pour le praticien. Une fois pré-entraîné, le même modèle s'adapte à une grande variété de tâches avec un minimum de modifications architecturales. Le principe de l'affinage (fine-tuning) est le suivant : on prend le modèle pré-entraîné, on ajoute une petite couche de sortie propre à la tâche, et on ré-entraîne l'ensemble sur les données annotées de cette tâche — mais cette fois, quelques milliers d'exemples et quelques époques suffisent.

Concrètement, selon la nature de la tâche :

• pour une classification de phrase (analyse de sentiment, détection de spam), on branche un classifieur sur le vecteur [CLS] ;
• pour une paire de phrases (implication logique, similarité sémantique), on présente les deux phrases séparées par [SEP] et l'on classe à nouveau via [CLS] ;
• pour la réponse à des questions (SQuAD), on donne la question et le passage, et le modèle prédit les positions de début et de fin de la réponse dans le texte ;
• pour l'étiquetage de tokens (reconnaissance d'entités nommées), on branche un classifieur sur la représentation de chaque jeton.

Dans tous les cas, l'écrasante majorité des paramètres — ceux du modèle pré-entraîné — sont partagés. Seule une fine couche superficielle est propre à la tâche. C'est une rupture avec la pratique antérieure, qui consistait à concevoir des architectures ad hoc, souvent complexes, pour chaque problème. Avec BERT, une même fondation sert de tremplin universel. Cette uniformité a une vertu qui dépasse la commodité : elle rend les progrès cumulatifs. Toute amélioration du modèle de base bénéficie mécaniquement à l'ensemble des tâches en aval.

Les résultats : lire les chiffres de près

C'est le moment de regarder les performances, car c'est là que BERT a stupéfié la communauté. L'article rapporte des résultats sur onze tâches de traitement du langage, et fixe un nouvel état de l'art sur chacune d'elles. Concentrons-nous sur les deux références les plus commentées.

GLUE : un bond de 7,7 points

GLUE (General Language Understanding Evaluation) est une collection de neuf tâches variées de compréhension du langage — implication logique, similarité, acceptabilité grammaticale, analyse de sentiment... Son score agrégé sert de thermomètre au domaine. BERT-Large y obtient un score de l'ordre de 80,5, contre environ 72,8 pour le meilleur système antérieur : une amélioration absolue de 7,7 points (selon les auteurs de l'article original). Dans un domaine où les progrès se comptent d'ordinaire en dixièmes de point, un tel écart est spectaculaire. Il ne s'agit pas d'un gain sur une tâche isolée, mais d'une avancée simultanée sur un large éventail de compétences linguistiques — ce qui suggère que BERT a bien acquis quelque chose de général, et non un tour de passe-passe spécifique.

SQuAD : dépasser le score humain

SQuAD (Stanford Question Answering Dataset) est une épreuve de compréhension de lecture : à partir d'un passage de Wikipédia et d'une question, le système doit extraire la réponse exacte dans le texte. Sur SQuAD 1.1, BERT atteint un score F1 d'environ 93,2, dépassant le précédent record (91,7) et, fait notable, le score de référence obtenu par des annotateurs humains sur cette même tâche (91,2). Sur SQuAD 2.0, une version durcie qui ajoute des questions sans réponse dans le texte — obligeant le modèle à savoir dire « je ne sais pas » —, BERT établit là aussi un nouveau record.

Tâche	Métrique	Meilleur avant BERT	BERT-Large
GLUE (score agrégé)	moyenne	~72,8	~80,5
SQuAD 1.1	F1	91,7	93,2
SQuAD 1.1 (humain)	F1	91,2	—

Ce que ces chiffres disent — et ce qu'ils ne disent pas

Un mot de prudence, car c'est essentiel. « Dépasser le score humain » sur SQuAD ne signifie pas que BERT comprend le texte comme un humain. Cela veut dire qu'il excelle à une tâche précise et bien cadrée : trouver un segment de réponse dans un passage donné. C'est une compétence réelle et utile, mais étroite. BERT ne raisonne pas sur le monde, ne vérifie pas la véracité des faits, et se laisse parfois abuser par des formulations qu'un humain démasquerait aussitôt. La bonne lecture de ces résultats est donc mesurée : BERT franchit un cap décisif en compréhension de surface, sans pour autant « comprendre » au sens plein du terme. Garder cette nuance à l'esprit, c'est se prémunir contre l'emballement autant que contre le dénigrement.

L'article inclut par ailleurs une comparaison directe et éclairante : à taille égale (BERT-Base, 110 millions de paramètres, contre OpenAI GPT, 117 millions — des tailles quasiment identiques, mêmes ordres de grandeur de données), BERT l'emporte nettement. Comme la principale différence entre les deux tient à la bidirectionnalité, cette comparaison isole proprement l'effet du MLM. C'est une preuve expérimentale soignée : le gain vient bien de l'idée centrale, et non d'un simple surcroît de taille ou de données.

Pourquoi cela fonctionne aussi bien

Prenons un peu de hauteur. Qu'est-ce qui, au fond, explique le succès de BERT ? Trois facteurs se conjuguent, et aucun ne suffirait seul.

Le premier est la bidirectionnalité profonde. En conditionnant chaque représentation sur les deux côtés du contexte, à toutes les couches, BERT désambiguïse les mots avec une finesse inaccessible aux modèles unidirectionnels. La langue naturelle est truffée d'ambiguïtés que seul le contexte complet lève ; BERT en tire pleinement parti.

Le deuxième est la puissance de l'apprentissage par transfert. En dissociant l'acquisition de la connaissance linguistique générale (le pré-entraînement, coûteux et unique) de l'adaptation à une tâche (l'affinage, bon marché et répétable), BERT rend accessible à tous une compétence linguistique de haut niveau. Une petite équipe, avec un jeu de données modeste, peut désormais atteindre des performances qui exigeaient hier des architectures sur mesure et des mois de travail.

Le troisième est l'échelle, au sens large : un grand modèle, un grand corpus, une grande puissance de calcul. BERT confirme une tendance qui se dessine dans tout le domaine — à idée constante, augmenter la taille du modèle et la quantité de données améliore les performances. BERT-Large surpasse systématiquement BERT-Base, y compris sur des tâches où les données d'affinage sont peu nombreuses. C'est un enseignement qui orientera durablement la recherche.

Une portée qui dépasse le laboratoire

Au-delà des performances, la contribution de BERT tient aussi à la manière dont Google le partage. Les auteurs annoncent la publication du code et des poids pré-entraînés. Cette ouverture est décisive : elle épargne à la communauté le pré-entraînement, coûteux et énergivore, et permet à chacun de partir directement de la fondation pour l'affiner. On peut anticiper, sans grand risque de se tromper, une floraison de travaux dérivés : adaptations à d'autres langues, versions spécialisées pour des domaines comme la biomédecine ou le droit, variantes allégées pour l'embarqué.

Cette dynamique de partage est, autant que la prouesse technique, ce qui promet à BERT une influence durable. Un modèle publié ouvertement devient un bien commun sur lequel des milliers d'équipes vont bâtir. Les progrès s'additionnent au lieu de rester cloisonnés. C'est le cercle vertueux qu'espère toute stratégie ouverte : publier accélère l'ensemble du domaine et bénéficie en retour des améliorations de la communauté.

Il serait malhonnête de taire les limites. BERT reste un modèle de compréhension, pas de génération : son entraînement par masquage le rend excellent pour analyser du texte, mais il n'est pas conçu pour produire du texte fluide comme le fait un modèle de type GPT. Son coût de pré-entraînement est élevé, ce qui concentre de facto cette étape entre les mains d'acteurs disposant de gros moyens de calcul. Et comme tout modèle appris sur du texte humain, il hérite des biais présents dans ses données — un point qui appelle vigilance et travaux d'évaluation dédiés. Ces réserves ne diminuent pas l'avancée ; elles en dessinent le juste périmètre.

Ce que BERT change, concrètement, pour un praticien

Passons du laboratoire au terrain. Pour quiconque construit des applications de traitement du langage, l'arrivée de BERT modifie plusieurs réflexes.

D'abord, la question du point de départ. Là où l'on partait souvent d'une architecture vierge à concevoir et entraîner de bout en bout, la démarche naturelle devient : partir de BERT pré-entraîné et l'affiner. Pour la plupart des tâches de classification ou d'extraction, c'est aujourd'hui la voie la plus rapide vers un résultat de bon niveau. Le réflexe utile n'est plus « quelle architecture inventer ? » mais « comment affiner efficacement une fondation existante ? ».

Ensuite, la question des données. Le pré-entraînement ayant déjà doté le modèle d'une solide connaissance de la langue, l'affinage réclame beaucoup moins d'exemples annotés qu'un entraînement à partir de zéro. Cela met à portée des tâches pour lesquelles on ne dispose que de quelques milliers d'exemples étiquetés — un cas de figure extrêmement courant en entreprise, où l'annotation coûte cher.

Enfin, la question du dimensionnement. Entre BERT-Base et BERT-Large, il y a un arbitrage à faire : la version Large est plus performante mais plus lourde à servir en production. Pour beaucoup d'usages, la version Base offre un rapport qualité-coût plus favorable, surtout lorsque la latence ou le budget matériel comptent. La bonne démarche consiste à tester le plus petit modèle capable de tenir la tâche, plutôt que de partir par défaut sur le plus gros.

La question utile n'est pas « quel est le modèle le plus puissant ? » mais « quelle est la plus petite fondation qui résout mon problème avec assez de marge ? » — et BERT vient d'élargir considérablement l'éventail des réponses possibles.

Avec le recul

(depuis 2026) Avec le temps, il est devenu évident que BERT ouvrait une ère. L'approche du pré-entraînement à grande échelle, puis affinage, s'est imposée comme le paradigme dominant du traitement du langage, et une lignée entière de modèles a prolongé ses idées. La bidirectionnalité, l'auto-supervision par masquage et le partage ouvert des poids figurent désormais parmi les fondations communes de la discipline. On mesure aussi, avec le recul, à quel point la compréhension du langage par les machines n'était encore, en 2018, qu'à ses débuts : BERT en fut une étape charnière, non un aboutissement. C'est peut-être là son plus bel héritage — avoir montré qu'une idée simple, bien exécutée et généreusement partagée, pouvait faire progresser tout un champ d'un seul mouvement.

Ce que BERT nous apprend

Que retenir de cette plongée ? D'abord, que la contribution de BERT est conceptuelle avant d'être une affaire de taille. Sa véritable innovation — l'entraînement par masquage qui rend possible une bidirectionnalité profonde — tient en une idée que l'on peut expliquer en une phrase, mais dont les effets se mesurent en points d'écart sur les benchmarks les plus exigeants. C'est le propre des grandes idées : évidentes après coup, invisibles avant.

Ensuite, que la nuance vaut mieux que le slogan. BERT « dépasse l'humain » sur une tâche précise, sans comprendre le monde ; il excelle à analyser du texte, sans savoir en générer ; il démocratise la compétence linguistique, tout en concentrant l'étape de pré-entraînement entre quelques mains. Tenir ces deux bouts à la fois — l'exploit réel et ses limites réelles — est la condition d'une évaluation lucide.

Enfin, que BERT dessine une tendance de fond : celle d'une IA du langage qui se construit sur des fondations pré-entraînées, partagées et réutilisables, où l'ingéniosité de l'objectif d'entraînement pèse autant que la seule course à la taille. Pour un praticien, la bonne posture n'est pas de s'émerveiller devant un score, mais de comprendre les mécanismes — attention bidirectionnelle, masquage, apprentissage par transfert — qui définiront la prochaine génération de modèles. Ces briques ne sont la propriété d'aucun laboratoire ; elles appartiennent désormais au socle commun de la discipline. Les maîtriser, c'est se donner les moyens de lire l'actualité de l'IA en acteur informé plutôt qu'en spectateur ébloui. C'est, au fond, tout l'objet de cette chronique.

Sources

Cet article s'appuie sur des sources techniques publiques et vérifiables :

• Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding » — arXiv 1810.04805 (architecture, MLM, NSP, résultats GLUE et SQuAD).
• Google Research, dépôt officiel du code et des poids pré-entraînés — github.com/google-research/bert (tailles Base et Large, WordPiece, détails d'entraînement).
• Synced, « Best NLP Model Ever? Google BERT Sets New Standards in 11 Language Tasks » — syncedreview.com (onze tâches, contexte de la publication d'octobre 2018).
• « BERT (language model) » — Wikipédia (paramètres, corpus BooksCorpus et Wikipédia, coût de calcul TPU, comparaison ELMo et GPT).
• Hugging Face, « BERT 101 — State Of The Art NLP Model Explained » — huggingface.co (vulgarisation des objectifs d'entraînement et de l'affinage).