Comment une machine, qui ne manipule au fond que des nombres, parvient-elle à saisir qu'un « chat » ressemble davantage à un « chien » qu'à une « fourchette » ? La réponse tient en un mot devenu central dans l'intelligence artificielle moderne : les embeddings. Derrière ce terme un peu aride se cache l'une des idées les plus élégantes de la discipline — transformer le sens des mots, des phrases, des images en coordonnées dans un vaste espace géométrique, où la proximité mesure la similarité. Chaque moteur de recherche sémantique, chaque système de recommandation, chaque assistant relié à vos documents repose, à un moment ou à un autre, sur cette conversion silencieuse du sens en chiffres.
Cet article propose une plongée accessible dans le monde des embeddings, sans équation et sans jargon inutile. Nous partirons de l'intuition fondatrice — pourquoi représenter des mots par des vecteurs — pour remonter le fil des grandes avancées : word2vec en 2013, GloVe en 2014, puis la bascule vers les modèles contextuels et les embeddings de phrases. Nous verrons ensuite comment on mesure la « distance » entre deux sens, ce que ces représentations rendent possible aujourd'hui, et quelles limites il faut garder en tête. L'objectif est simple : que vous ressortiez de cette lecture capable de comprendre, et même d'expliquer à votre tour, ce que fait une IA lorsqu'elle « comprend » un texte.
Un mot de cadrage, d'abord. Les embeddings ne sont pas une curiosité de laboratoire réservée aux chercheurs. Ils sont le socle discret sur lequel reposent des usages que des millions de personnes emploient chaque jour sans le savoir. Comprendre leur fonctionnement, c'est se donner les moyens de lire l'actualité de l'IA avec un regard averti — et de mieux choisir ses outils lorsqu'on construit une application.
L'intuition de départ : donner une adresse au sens
Commençons par le problème de base. Un ordinateur ne comprend pas les mots ; il ne manipule que des nombres. La toute première question de l'informatique du langage a donc été : comment représenter un mot sous forme numérique ? La réponse naïve, longtemps dominante, consistait à attribuer à chaque mot un identifiant unique — le mot « chat » devient le numéro 5 214, « chien » le numéro 8 097, et ainsi de suite. On parle de représentation « one-hot » : chaque mot est un vecteur immense, plein de zéros, avec un seul 1 à la position qui lui correspond.
Cette approche fonctionne, mais elle est aveugle au sens. Dans un tel système, « chat » et « chien » sont exactement aussi éloignés l'un de l'autre que « chat » et « fourchette ». Rien, dans la représentation, ne dit que les deux premiers désignent des animaux domestiques et partagent une foule de propriétés. L'information de sens est perdue dès le départ. Pire, le vocabulaire d'une langue comptant des dizaines de milliers de mots, ces vecteurs sont gigantesques et presque entièrement vides — un gaspillage à la fois de mémoire et de sens.
Du vecteur creux au vecteur dense
L'idée décisive des embeddings est de remplacer ce vecteur creux et gigantesque par un vecteur dense et compact : une liste de quelques dizaines ou centaines de nombres réels, où chaque dimension capture une facette du sens. Dans cet espace, un mot n'est plus un simple identifiant arbitraire, mais un point situé quelque part selon ses propriétés sémantiques. Les mots aux sens proches se retrouvent voisins ; les mots sans rapport, éloignés.
Le principe théorique qui rend cela possible s'énonce en une phrase, formulée par le linguiste britannique John Rupert Firth dès 1957 : « On reconnaît un mot à la compagnie qu'il fréquente. » Autrement dit, le sens d'un mot se déduit des contextes dans lesquels il apparaît. « Chat » et « chien » côtoient les mêmes voisins — « nourrir », « caresser », « vétérinaire », « panier » — ce qui trahit leur parenté. Un modèle d'embedding ne fait rien d'autre que d'appliquer méthodiquement ce principe, à l'échelle de milliards de mots : il apprend à placer près les uns des autres les mots qui partagent des contextes.
Pour saisir l'intuition géométrique, imaginez une immense carte. Sur une carte routière ordinaire, deux dimensions — latitude et longitude — suffisent à situer chaque ville, et la distance sur la carte reflète la distance réelle. Un embedding fait la même chose pour le sens, sauf que la « carte » comporte non pas deux mais des dizaines ou des centaines de dimensions. Chacune de ces dimensions n'a pas forcément de signification interprétable par un humain, mais leur combinaison encode une position sémantique précise. Sur cette carte du sens, « Paris » est proche de « Lyon » et de « Marseille », tandis que « banane » se trouve dans un tout autre quartier.
On reconnaît un mot à la compagnie qu'il fréquente. Ce principe, énoncé par le linguiste J. R. Firth en 1957, est resté le socle conceptuel de tous les embeddings modernes.
2013 : word2vec fait entrer les embeddings dans l'ère moderne
Le moment fondateur de l'histoire des embeddings tels qu'on les connaît aujourd'hui remonte à 2013. Cette année-là, une équipe de chercheurs de Google menée par Tomáš Mikolov — avec Kai Chen, Greg Corrado et Jeff Dean — publie l'article « Efficient Estimation of Word Representations in Vector Space ». L'outil qui en découle porte un nom devenu célèbre : word2vec, littéralement « du mot au vecteur ».
L'ambition affichée par les auteurs était d'« apprendre des vecteurs de mots de haute qualité à partir de très grands jeux de données comportant des milliards de mots, et un vocabulaire de plusieurs millions de mots ». Ce qui a frappé la communauté, ce n'est pas seulement la qualité des représentations obtenues, mais leur efficacité : word2vec pouvait être entraîné rapidement sur des corpus colossaux, là où les méthodes antérieures butaient sur des coûts de calcul prohibitifs.
Deux recettes complémentaires
Mikolov et ses collègues ont proposé deux variantes du modèle, deux façons d'appliquer le principe de Firth :
- Le CBOW (Continuous Bag-of-Words) : le modèle apprend à prédire un mot cible à partir des mots qui l'entourent. Concrètement, en voyant « le … dort sur le canapé », il apprend à deviner « chat » ;
- Le Skip-gram : c'est l'inverse. À partir d'un mot donné, le modèle apprend à prédire les mots susceptibles de l'entourer. En voyant « chat », il apprend à anticiper « dormir », « ronronner », « panier ».
Dans les deux cas, le modèle n'a jamais accès à une définition. Il ne fait que jouer, des milliards de fois, à ce jeu de prédiction sur des textes réels. Et c'est là que réside la magie : pour réussir cette prédiction, le réseau est contraint d'apprendre des représentations internes qui capturent le sens. Les vecteurs qui en résultent — les fameux embeddings — sont en quelque sorte un effet secondaire de l'entraînement, mais c'est précisément eux qui nous intéressent.
« Roi − homme + femme = reine » : l'arithmétique du sens
La démonstration qui a rendu word2vec véritablement célèbre est une propriété inattendue de ces vecteurs : ils se prêtent à une arithmétique du sens. L'exemple canonique, cité dans d'innombrables cours et articles, est le suivant. Si l'on prend le vecteur de « roi », qu'on lui soustrait le vecteur de « homme » et qu'on lui ajoute celui de « femme », le point obtenu se retrouve dans le voisinage immédiat de… « reine ».
Ce résultat est saisissant car il suggère que les embeddings n'encodent pas seulement des proximités globales, mais des relations structurées. Le trajet géométrique qui va de « homme » à « femme » — un certain déplacement dans l'espace — encode la notion de genre. Ce même déplacement, appliqué à « roi », mène à « reine » ; appliqué à « acteur », il tend vers « actrice ». D'autres relations émergent de la même manière : le lien entre un pays et sa capitale, entre un verbe et son participe passé, entre un adjectif et son comparatif.
Une précision honnête s'impose ici, car cet exemple est souvent présenté de façon trop lisse. En pratique, l'égalité n'est jamais parfaite : le calcul ne tombe pas exactement sur « reine », mais dans son voisinage, et de nombreux facteurs — le corpus d'entraînement, la façon dont on exclut les mots de départ du résultat — influencent la précision de l'analogie. Certains chercheurs ont d'ailleurs montré que la « magie » de l'arithmétique vectorielle doit être nuancée. Il n'en reste pas moins que le phénomène est réel et robuste : les embeddings capturent bel et bien des régularités linguistiques de façon géométrique, et c'est cette capacité qui a ouvert un champ immense d'applications.
2014 : GloVe et la statistique globale
L'année suivante, en 2014, une équipe de l'université de Stanford — Jeffrey Pennington, Richard Socher et Christopher Manning — publie une approche alternative baptisée GloVe, pour « Global Vectors for Word Representation ». Présentée à la conférence EMNLP 2014, elle apporte une perspective complémentaire à celle de word2vec.
Là où word2vec apprend à partir de fenêtres de contexte locales — les quelques mots qui entourent chaque occurrence —, GloVe s'appuie sur des statistiques globales de co-occurrence. L'idée : construire d'abord une grande matrice qui recense, sur l'ensemble du corpus, combien de fois chaque mot apparaît dans le voisinage de chaque autre. Les vecteurs sont ensuite entraînés pour reproduire au mieux ces probabilités de co-occurrence. En quelque sorte, GloVe part d'une vue d'ensemble du corpus, tandis que word2vec le parcourt fenêtre par fenêtre.
Le résultat, dans la pratique, est de qualité comparable, et GloVe hérite des mêmes propriétés remarquables — dont l'arithmétique des analogies. Les vecteurs GloVe pré-entraînés, mis à disposition par Stanford, ont été massivement réutilisés : l'article fondateur totalise plus de 34 000 citations selon Semantic Scholar (au 13 juillet 2026, chiffre en évolution constante) et a servi de brique de base à d'innombrables projets. Pendant plusieurs années, word2vec et GloVe ont constitué le duo de référence de la représentation du langage, à tel point qu'on les cite encore aujourd'hui comme les pierres angulaires de la discipline.
Une limite partagée : un seul vecteur par mot
Malgré leur succès, ces deux méthodes partageaient une limite de fond. Chaque mot y reçoit un vecteur unique, fixe, indépendant du contexte. Or beaucoup de mots sont polysémiques. Le mot « avocat » désigne aussi bien un fruit qu'un juriste ; « souris », l'animal ou le périphérique informatique. Avec un embedding statique, ces deux sens sont fondus dans un seul et même vecteur, moyenne floue de contextes disparates. Le modèle ne peut pas distinguer « je mange un avocat » de « je consulte mon avocat ». Cette limitation, connue et documentée, allait motiver la génération suivante d'embeddings — celle qui a fait entrer le contexte dans l'équation.
La bascule contextuelle : quand BERT change la donne
Le tournant s'opère en 2018 avec l'arrivée des modèles fondés sur l'architecture Transformer, et notamment BERT. Publié en octobre 2018 par une équipe de Google — Jacob Devlin, Ming-Wei Chang et leurs collègues — dans l'article « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding », ce modèle introduit une idée décisive pour les embeddings : la représentation d'un mot n'est plus figée, elle dépend de la phrase dans laquelle il apparaît.
Avec un modèle contextuel, le mot « avocat » de « je mange un avocat mûr » reçoit un vecteur différent de celui de « mon avocat plaide demain ». Le modèle lit toute la phrase et ajuste la représentation de chaque mot en fonction de ses voisins. Le problème de la polysémie, qui bridait word2vec et GloVe, trouve ainsi une réponse naturelle. On parle d'embeddings contextuels, par opposition aux embeddings statiques de la génération précédente.
Du mot à la phrase : Sentence-BERT
Il restait toutefois un obstacle pratique. BERT, dans sa forme brute, produit d'excellentes représentations de mots en contexte, mais il n'est pas conçu pour fournir directement un bon vecteur représentant une phrase entière. Or beaucoup d'applications — la recherche sémantique, la détection de doublons, le regroupement de documents — ont précisément besoin de comparer des phrases entre elles, rapidement et à grande échelle.
La réponse est venue en 2019 avec le framework Sentence-BERT (SBERT), développé par Nils Reimers et Iryna Gurevych. L'idée : adapter BERT à l'aide de réseaux dits « siamois » pour qu'il produise, pour chaque phrase, un vecteur de taille fixe directement comparable à d'autres. Avec SBERT, comparer deux phrases se résume à mesurer la distance entre deux vecteurs — une opération quasi instantanée. Ce qui prenait auparavant un temps rédhibitoire sur de grands corpus devient trivial. Cette avancée a démocratisé la recherche sémantique et posé les fondations des bibliothèques d'embeddings de phrases que l'on utilise couramment aujourd'hui.
Le passage des embeddings statiques aux embeddings contextuels, puis aux embeddings de phrases, résume à lui seul l'évolution de la discipline : d'une carte figée du vocabulaire vers une représentation vivante, sensible au contexte et prête à l'emploi.
Mesurer la proximité : la similarité cosinus
Une fois que les mots, phrases ou documents sont devenus des vecteurs, une question pratique se pose : comment mesure-t-on concrètement leur proximité ? La réponse la plus employée porte un nom un peu technique mais recouvre une idée simple : la similarité cosinus.
Plutôt que de comparer les distances brutes entre deux points, la similarité cosinus s'intéresse à l'angle formé par les deux vecteurs partant de l'origine. Deux vecteurs qui pointent dans la même direction — un angle proche de zéro — sont jugés très similaires. Deux vecteurs perpendiculaires n'ont, sémantiquement, rien à voir. L'intérêt de raisonner sur l'angle plutôt que sur la longueur est qu'on se concentre sur la direction du sens, indépendamment de l'intensité ou de la fréquence des termes. Un texte court et un texte long traitant du même sujet pointeront dans une direction voisine, même si leurs vecteurs n'ont pas la même « taille ».
Concrètement, la similarité cosinus renvoie un nombre compris entre −1 et 1 : proche de 1, les deux éléments sont très proches sémantiquement ; proche de 0, ils sont sans rapport. C'est cette petite mesure, appliquée des millions de fois par seconde, qui permet à un moteur de recherche sémantique de trouver, parmi des milliers de documents, ceux qui correspondent le mieux à une question — sans qu'un seul mot exact n'ait besoin de coïncider.
Simulateur de similarité cosinus
L'angle décide tout — faites glisser
Le voisin le plus proche, à grande échelle
La recherche sémantique se ramène, au fond, à un problème géométrique : étant donné le vecteur d'une requête, quels sont les points les plus proches dans l'espace ? Sur quelques dizaines de vecteurs, on peut tout comparer un par un. Mais dès que le corpus atteint des millions ou des milliards d'entrées, cette comparaison exhaustive devient impraticable. C'est précisément le rôle des bases de données vectorielles et des algorithmes de « recherche approximative du plus proche voisin » : ils organisent l'espace de façon à retrouver les meilleurs candidats en une fraction de seconde, sans tout parcourir. Les embeddings fournissent les coordonnées ; ces outils fournissent la carte routière pour naviguer entre elles efficacement.
Les embeddings d'aujourd'hui : dimensions, coût et flexibilité
Où en est-on à l'état de l'art ? Les modèles d'embedding les plus récents sont produits aussi bien par les grands fournisseurs de services d'IA que par la communauté open source. Ils partagent une même logique — encoder du texte en vecteurs denses — mais se distinguent par leur qualité, leur dimensionnalité et leur coût.
Un exemple parlant est la génération de modèles d'embedding présentée par OpenAI le 25 janvier 2024. Deux modèles y sont proposés : text-embedding-3-small, compact et économique, et text-embedding-3-large, plus puissant. Ce dernier produit par défaut des vecteurs de 3 072 dimensions, contre 1 536 pour le premier. Sur le benchmark de référence MTEB, qui agrège une large batterie de tâches (recherche, classification, regroupement, similarité), le grand modèle atteint un score moyen de 64,6 %, en nette progression par rapport à la génération précédente, text-embedding-ada-002, qui plafonnait autour de 61 %.
Les poupées russes des embeddings
Ces modèles récents illustrent une innovation particulièrement utile en pratique : les embeddings dits « Matryoshka », du nom des poupées russes qui s'emboîtent les unes dans les autres. Entraînés avec une technique appelée Matryoshka Representation Learning, ces vecteurs sont organisés de sorte que les premières dimensions concentrent l'information la plus importante, les suivantes ajoutant du détail. Conséquence pratique remarquable : on peut tronquer le vecteur — n'en garder que les 256 ou 1 024 premières dimensions, au lieu des 3 072 complètes — et conserver l'essentiel de sa qualité.
Le bénéfice est double. D'une part, on réduit fortement l'espace de stockage et le coût de calcul lors de la recherche, ce qui compte énormément à l'échelle de millions de documents. D'autre part, le développeur choisit librement son compromis entre finesse et économie. OpenAI a d'ailleurs souligné un résultat frappant : sur MTEB, un embedding text-embedding-3-large tronqué à 256 dimensions surpasse encore un embedding ada-002 non tronqué de 1 536 dimensions. Autrement dit, on obtient à la fois plus de qualité et six fois moins de dimensions. Cette flexibilité change la donne pour qui doit dimensionner une application avec un budget contraint.
Choisir un modèle : ce qui compte vraiment
Face à la diversité des modèles disponibles, comment choisir ? Quelques critères pratiques guident la décision :
- La qualité sur le type de tâche visé — un modèle excellent en recherche généraliste ne l'est pas forcément sur un domaine très spécialisé (médical, juridique) ;
- La langue : certains modèles sont majoritairement anglophones, d'autres franchement multilingues et performants en français ;
- La dimensionnalité, qui influe directement sur le coût de stockage et de recherche ;
- Le mode de déploiement : appel à une API distante, ou modèle exécuté localement pour des raisons de confidentialité ;
- Le coût, enfin, qui varie de plusieurs ordres de grandeur selon qu'on paie à l'usage ou qu'on héberge soi-même un modèle ouvert.
La bonne démarche consiste rarement à choisir « le meilleur modèle » dans l'absolu, mais le plus adapté à son besoin réel. Un petit modèle multilingue exécuté localement peut, pour une PME soucieuse de confidentialité, valoir bien mieux qu'un modèle plus performant mais dépendant d'une API externe. La leçon est classique en ingénierie : le contexte prime sur la fiche technique.
Au-delà du texte : embeddings d'images et multimodalité
Un aspect fascinant des embeddings est qu'ils ne se limitent pas au langage. Le même principe — projeter des données dans un espace vectoriel où la proximité mesure la similarité — s'applique aux images, au son, au code, ou à des combinaisons de tout cela. C'est le champ des embeddings multimodaux.
L'exemple emblématique est le modèle CLIP (Contrastive Language-Image Pre-training), présenté par OpenAI en 2021 dans l'article « Learning Transferable Visual Models From Natural Language Supervision ». CLIP a été entraîné sur quelque 400 millions de paires image-texte glanées sur le web. Sa particularité : il projette les images et les textes dans un espace commun. Dans cet espace partagé, la photographie d'un chien et la phrase « une photo de chien » se retrouvent voisines.
La méthode d'entraînement, dite « contrastive », est d'une élégance limpide : on présente au modèle des paires image-texte correctes et incorrectes, et on l'entraîne à rapprocher dans l'espace les paires qui vont ensemble tout en éloignant celles qui n'ont rien à voir. À force d'exemples, images et légendes finissent par s'aligner. Le résultat ouvre des usages puissants : rechercher des images à partir d'une description textuelle, classer des photos selon des catégories décrites en langage naturel, ou relier des contenus de nature différente. Cette capacité à faire dialoguer les modalités dans un même espace vectoriel est l'une des briques qui sous-tendent les systèmes multimodaux d'aujourd'hui.
Ce que les embeddings rendent possible, concrètement
Passons du principe aux usages. Si les embeddings occupent une place aussi centrale dans l'IA moderne, c'est parce qu'ils débloquent une famille d'applications que les approches par mots-clés ne savaient pas traiter. En voici les principales.
La recherche sémantique
C'est l'application phare. La recherche traditionnelle par mots-clés cherche des correspondances exactes : si vous tapez « voiture », elle ne trouvera pas les documents parlant d'« automobile » ou de « véhicule ». La recherche sémantique, elle, compare les sens. On encode l'ensemble d'un corpus en vecteurs, on encode la requête dans le même espace, et l'on retrouve les documents dont le vecteur est le plus proche — même s'ils n'emploient pas un seul des mots de la question. Cette capacité à retrouver l'intention derrière les mots transforme l'expérience de recherche, qu'il s'agisse d'un moteur interne à une entreprise ou d'un catalogue de produits.
La mémoire des assistants : le RAG
Les embeddings sont aussi le moteur de la génération augmentée par récupération (RAG), la technique qui permet de relier un grand modèle de langage à une base documentaire. Le mécanisme : on découpe les documents en morceaux, on les encode en vecteurs, on les stocke dans une base vectorielle. Quand l'utilisateur pose une question, on encode sa question, on récupère les passages les plus pertinents par proximité vectorielle, et on les fournit au modèle comme contexte. C'est ainsi qu'un assistant peut répondre en s'appuyant sur des documents précis — une documentation technique, un règlement interne — qu'il n'a jamais vus pendant son entraînement. Sans embeddings, pas de RAG.
Recommandation, regroupement, détection de doublons
Les usages ne s'arrêtent pas là. Les systèmes de recommandation encodent produits, articles ou morceaux de musique en vecteurs et suggèrent les voisins de ce que vous avez apprécié. Les outils d'analyse regroupent automatiquement des milliers de documents par thématique grâce à la proximité de leurs vecteurs — sans qu'on ait besoin de définir les catégories à l'avance. La détection de doublons ou de plagiat repère des textes proches en sens même lorsqu'ils sont reformulés. La classification automatique — trier des courriels, des avis clients, des tickets de support — s'appuie elle aussi, très souvent, sur des embeddings en amont.
- Recherche sémantique : retrouver par le sens plutôt que par le mot exact ;
- RAG : donner à un modèle de langage l'accès à des documents précis ;
- Recommandation : suggérer des contenus proches de vos préférences ;
- Regroupement (clustering) : organiser automatiquement de grands corpus par thème ;
- Détection de similarité : repérer doublons, paraphrases, contenus proches ;
- Classification : trier textes et documents dans des catégories.
Les limites et précautions à garder en tête
Aussi puissants soient-ils, les embeddings ne sont pas une baguette magique. Une lecture lucide de leurs limites fait partie d'une bonne maîtrise du sujet.
Les embeddings héritent des biais de leurs données
Le point le plus documenté concerne les biais. Puisqu'un embedding apprend le sens à partir de gigantesques corpus de textes humains, il en absorbe aussi les stéréotypes. Une étude marquante de 2016, signée Tolga Bolukbasi et ses collègues, l'a montré de façon spectaculaire avec un titre resté célèbre : « Man is to Computer Programmer as Woman is to Homemaker? » Les chercheurs ont établi que des embeddings entraînés sur des articles de presse reproduisaient des associations genrées problématiques — le trajet vectoriel « homme → programmeur » se retrouvant parallèle à « femme → femme au foyer ».
Ce constat n'est pas une raison d'écarter la technologie, mais un appel à la vigilance. Les auteurs de l'étude ont d'ailleurs proposé des méthodes de « débiaisage » qui réduisent ces associations indésirables tout en préservant les propriétés utiles des vecteurs. La leçon est générale : un embedding est le miroir de ses données. Qui déploie ces outils dans des contextes sensibles — recrutement, attribution de crédit, modération — doit en mesurer les effets sur ses propres cas et ne pas présumer une neutralité qui n'existe pas.
Un espace figé au moment de l'entraînement
Autre limite : un embedding capture le sens tel qu'il existait dans le corpus d'entraînement. Un mot dont l'usage évolue, un néologisme, un nom propre récent risquent d'être mal représentés par un modèle ancien. C'est l'une des raisons pour lesquelles il faut, pour certaines applications, réencoder périodiquement ses données avec un modèle à jour.
La qualité dépend du découpage
Dans un système RAG, la performance ne dépend pas seulement de la qualité du modèle d'embedding, mais aussi de la façon dont on découpe les documents. Des morceaux trop longs diluent le sens ; trop courts, ils perdent le contexte. Ce travail de découpage, souvent sous-estimé, conditionne fortement la pertinence des résultats. C'est un rappel utile : les embeddings sont une brique parmi d'autres, et leur efficacité tient autant à la façon dont on les emploie qu'à leur qualité intrinsèque.
Un embedding est le miroir fidèle de ses données d'entraînement : il en reflète la richesse comme les biais. C'est à celui qui l'emploie de rester lucide sur ce qu'il projette dans l'espace vectoriel.
Comment se représenter tout cela, sans se tromper
Au terme de ce parcours, une image mentale peut aider à retenir l'essentiel. Imaginez une vaste galaxie où chaque étoile est un concept — un mot, une phrase, une image. Des amas se forment : les félins d'un côté, les instruments de musique de l'autre, les capitales européennes ailleurs. La distance entre deux étoiles mesure leur parenté de sens. Naviguer dans cette galaxie — trouver les étoiles voisines d'une étoile donnée — c'est exactement ce que fait un moteur de recherche sémantique, un système de recommandation ou un assistant relié à vos documents.
Cette galaxie n'a rien de figé ni de mystérieux : elle est le produit d'un apprentissage patient sur d'immenses corpus, guidé par un principe simple — placer près les uns des autres les éléments qui apparaissent dans des contextes semblables. De word2vec en 2013 aux modèles contextuels et multimodaux d'aujourd'hui, toute l'histoire des embeddings est celle d'un raffinement de cette carte du sens : d'abord grossière et statique, puis sensible au contexte, puis capable de faire dialoguer texte et image dans un même espace.
Pour un praticien, la bonne posture n'est pas de considérer les embeddings comme une boîte noire, mais de comprendre ce qu'ils encodent et ce qu'ils ignorent. Ils saisissent admirablement les proximités de sens et les relations structurées ; ils héritent des biais de leurs données ; ils dépendent d'un bon découpage et d'un modèle adapté à la langue et au domaine visés. Maîtriser ces quelques idées, c'est se donner les moyens de construire des applications solides — et de lire l'actualité de l'IA en acteur informé plutôt qu'en spectateur ébloui. Car derrière chaque recherche pertinente, chaque recommandation juste, chaque assistant qui « comprend » vos documents, il y a, discrète et décisive, cette même conversion du sens en chiffres.
Sources
Cet article s'appuie sur des sources techniques publiques et vérifiables :
- T. Mikolov, K. Chen, G. Corrado, J. Dean, « Efficient Estimation of Word Representations in Vector Space » — arXiv 1301.3781 (word2vec, CBOW, Skip-gram, 2013).
- J. Pennington, R. Socher, C. Manning, « GloVe: Global Vectors for Word Representation » — nlp.stanford.edu/projects/glove (Stanford, EMNLP 2014).
- J. Devlin, M.-W. Chang et al., « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding » — arXiv 1810.04805 (embeddings contextuels, 2018).
- N. Reimers, I. Gurevych, « Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks » — arXiv 1908.10084 (SBERT, 2019).
- OpenAI, « New embedding models and API updates » (25 janvier 2024) — openai.com (text-embedding-3, dimensions, MTEB, Matryoshka).
- A. Radford et al., « Learning Transferable Visual Models From Natural Language Supervision » (CLIP) — arXiv 2103.00020 (embeddings multimodaux, OpenAI 2021).
- T. Bolukbasi, K.-W. Chang, J. Zou, V. Saligrama, A. Kalai, « Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings » — arXiv 1607.06520 (biais de genre, NIPS 2016).
