L'annotation de données : le travail humain derrière l'intelligence des machines

Derrière chaque photo qu'une IA reconnaît, chaque phrase qu'un assistant conversationnel formule avec justesse, il y a d'abord eu un humain, quelque part, qui a regardé une image et tapé « chat », ou lu deux réponses générées par un modèle et coché celle qui lui semblait la plus utile. Ce travail s'appelle l'annotation de données. Il ne fait la une d'aucune keynote, il n'affiche aucune courbe de performance sur un graphique, et pourtant sans lui aucun système d'apprentissage automatique ne saurait distinguer un chien d'un vélo, ni une réponse polie d'une réponse toxique. L'IA n'apprend pas seule : elle apprend de millions d'exemples que des personnes, souvent invisibles, ont patiemment étiquetés — une étiquette à la fois.

Cet article propose un état des lieux de ce métier de l'ombre : d'où il vient, comment il fonctionne concrètement, qui l'exerce et dans quelles conditions, et ce que le cadre réglementaire commence à en dire. L'objectif n'est ni de dramatiser ni de minimiser, mais de rendre visible une chaîne de valeur que l'on cite peu, alors qu'elle conditionne directement la qualité — et la fiabilité — des systèmes d'intelligence artificielle que nous utilisons chaque jour.

Un mot de méthode avant de commencer. L'annotation de données recouvre des réalités très différentes : classer des images, transcrire de l'audio, délimiter des objets au pixel près, ou comparer des réponses de modèles de langage pour affiner leur comportement. Nous parcourrons ces facettes en nous appuyant sur des travaux de recherche publiés, des rapports d'organismes indépendants et des enquêtes journalistiques vérifiables, dont les références figurent en fin d'article.

Qu'est-ce que l'annotation de données, concrètement ?

L'apprentissage supervisé, la famille de techniques la plus répandue en machine learning, repose sur un principe simple : montrer au modèle des milliers, voire des millions d'exemples accompagnés de la « bonne réponse », pour qu'il apprenne à généraliser. Une image de chat associée à l'étiquette « chat », une phrase associée à son sentiment (positif, négatif, neutre), un enregistrement audio associé à sa transcription textuelle : chacun de ces couples exemple-étiquette est le fruit d'un travail d'annotation.

Ce principe paraît limpide énoncé ainsi, mais sa mise en œuvre à grande échelle est un chantier considérable. Un modèle de vision par ordinateur destiné à la conduite autonome doit être exposé à des millions d'images de rue annotées avec précision : chaque piéton, chaque véhicule, chaque panneau de signalisation doit être délimité et catégorisé, souvent image par image, voire trame par trame sur des séquences vidéo — et de plus en plus dans des nuages de points en trois dimensions issus de capteurs LiDAR. Un modèle de langage, de son côté, ne se contente plus d'apprendre à prédire le mot suivant : il doit être affiné sur des jugements de qualité, de sécurité et de pertinence, qui exigent une lecture attentive et un jugement contextuel. Dans les deux cas, la donnée brute ne vaut rien sans le travail qui la transforme en signal exploitable pour l'apprentissage.

Ce travail prend des formes multiples selon la tâche visée :

• La classification : attribuer une catégorie à un contenu (type d'objet dans une image, sujet d'un texte, intention derrière une requête).
• La détection et la segmentation : dessiner un cadre (bounding box) ou un contour précis autour d'un objet dans une image. La segmentation sémantique va jusqu'à colorier chaque pixel selon la classe à laquelle il appartient — une exigence critique pour la conduite autonome comme pour l'imagerie médicale, où confondre un vaisseau sanguin et une tumeur n'est pas une option.
• La reconnaissance d'entités nommées : surligner, dans un texte, les personnes, lieux, dates ou montants, pour entraîner les modèles d'extraction d'information.
• La transcription : retranscrire un contenu audio en texte, avec ou sans identification des locuteurs, des accents et des émotions.
• Le comparatif de préférences : face à deux réponses générées par un modèle de langage, indiquer laquelle est la meilleure — la brique de base de l'alignement des grands modèles actuels.

Cette diversité explique pourquoi le secteur de l'annotation s'est structuré en une véritable industrie, avec des plateformes spécialisées, des outils logiciels dédiés et une main-d'œuvre répartie sur plusieurs continents. Sur le plan technique, deux familles d'outils coexistent. D'un côté, des logiciels open source comme CVAT (Computer Vision Annotation Tool), développé à l'origine par Intel, qui permettent à une équipe de dessiner elle-même ses contours et ses étiquettes sur des images ou des vidéos, moyennant un hébergement et un contrôle qualité internes. De l'autre, des plateformes commerciales comme Labelbox, qui proposent une infrastructure managée, des fonctions d'annotation assistée par IA — un modèle pré-annote, l'humain corrige — et une intégration directe avec les cycles d'entraînement des modèles. Le choix entre les deux dépend moins du budget que de la sensibilité des données traitées et du niveau de contrôle que l'équipe souhaite conserver sur le processus.

Une histoire qui commence bien avant les LLM

L'annotation de données n'est pas née avec ChatGPT. Elle est aussi ancienne que l'apprentissage supervisé lui-même, et son histoire éclaire pourquoi elle reste, aujourd'hui encore, un goulet d'étranglement autant qu'un levier de qualité.

ImageNet, le tournant fondateur

L'un des épisodes les plus marquants remonte à 2006. La chercheuse Fei-Fei Li, alors à l'université de l'Illinois à Urbana-Champaign, conçoit l'idée d'un projet démesuré pour l'époque : constituer une base de données d'images couvrant l'ensemble du vocabulaire visuel courant, chaque image étant associée à une catégorie précise. Elle le concrétise dès l'année suivante en rejoignant l'université de Princeton, avant de rejoindre Stanford en 2009. Pour organiser ce vocabulaire, elle s'appuie sur WordNet, une base lexicale qui range les noms de la langue anglaise en une hiérarchie de concepts — environ 22 000 catégories de départ. Son pari est à contre-courant des pratiques du moment : plutôt que de raffiner sans fin les algorithmes, elle mise sur la qualité et l'échelle des données d'entraînement.

Pour annoter un tel volume, l'équipe se tourne vers Amazon Mechanical Turk, une plateforme de micro-travail à la tâche lancée par Amazon quelques années plus tôt. Les chiffres donnent le vertige : selon les données de projet, il aura fallu environ 49 000 travailleurs répartis dans 167 pays pour filtrer et étiqueter plus de 160 millions d'images candidates, entre le début de la campagne d'annotation en juillet 2008 et son achèvement en avril 2010. Publié en 2009, ImageNet atteindra finalement plus de 14 millions d'images validées à la main, réparties sur plus de 20 000 catégories.

L'aboutissement est spectaculaire. En 2012, un réseau de neurones baptisé AlexNet — conçu par Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton — remporte le concours de reconnaissance visuelle organisé autour d'ImageNet avec un taux d'erreur (top-5) de 15,3 %, très loin devant le deuxième, à 26,2 %. Cet écart de près de onze points, obtenu grâce à l'apprentissage profond sur données massivement annotées, a suffi à relancer tout le champ de la vision par ordinateur. Sans l'annotation méthodique d'ImageNet, la vague de deep learning des années 2010 n'aurait tout simplement pas eu la même ampleur.

ImageNet a inversé une hiérarchie implicite : longtemps, la recherche en IA a considéré les données comme secondaires par rapport aux algorithmes. Le projet a démontré que la qualité et l'échelle des données annotées pouvaient, à elles seules, transformer les résultats.

Du clic à la conversation : l'arrivée du RLHF

Une seconde bascule intervient avec les grands modèles de langage. Ici, l'annotation ne consiste plus à coller une étiquette sur une image, mais à juger la qualité d'un texte généré. La méthode qui a rendu ChatGPT utilisable et « poli » s'appelle l'apprentissage par renforcement à partir de retours humains, ou RLHF (Reinforcement Learning from Human Feedback).

Le papier de référence sur le sujet, publié par une équipe d'OpenAI en mars 2022 sous le titre « Training language models to follow instructions with human feedback », détaille précisément ce processus en trois étapes. Des annotateurs rédigent d'abord des exemples de réponses idéales à des instructions ; le modèle est affiné une première fois sur ces démonstrations. Puis, face à plusieurs réponses générées pour une même instruction, les annotateurs les classent de la meilleure à la moins bonne ; ce classement sert à entraîner un modèle de récompense. Enfin, ce modèle de récompense guide un algorithme d'apprentissage par renforcement qui ajuste le grand modèle de langage pour qu'il produise des réponses jugées préférables.

Fait notable, ce résultat n'a pas exigé une armée d'évaluateurs : l'équipe a travaillé avec une quarantaine de sous-traitants seulement, sélectionnés sur leur capacité à repérer des contenus sensibles et sur leur taux d'accord avec les chercheurs — un effectif volontairement réduit, pour privilégier un dialogue étroit plutôt que le volume. Et l'effet, mesuré dans le papier, est frappant : les évaluateurs humains ont préféré les réponses d'un modèle InstructGPT de seulement 1,3 milliard de paramètres à celles du GPT-3 original, cent trente fois plus gros. La qualité du jugement humain, répétée avec méthode, peut donc compenser un écart de taille considérable entre modèles.

Ce basculement a une conséquence directe sur le métier d'annotateur : il ne suffit plus de reconnaître un objet, il faut désormais évaluer un raisonnement, repérer une réponse problématique ou biaisée, juger de la pertinence d'un ton. La tâche s'est complexifiée, et avec elle, le profil des personnes recrutées pour l'accomplir.

Une industrie mondiale, portée par quelques géants

Ce besoin massif de données annotées a fait émerger une industrie à part entière, structurée autour de plateformes spécialisées qui mettent en relation les entreprises d'IA et une main-d'œuvre répartie sur toute la planète. Derrière une poignée de noms se cachent des modèles économiques très différents.

Acteur	Créé en	Modèle	Fait marquant
Appen	1996 (Australie)	Généraliste, crowd mondiale	Plus d'un million de contributeurs, 130+ pays, 180+ langues
Sama (ex-Samasource)	2008 (États-Unis)	« Impact sourcing », B Corp	Recrute en Afrique de l'Est et en Inde ; devenue société à but lucratif en 2019
Scale AI	2016 (États-Unis)	Financé par capital-risque	Valorisée 13+ milliards de dollars en 2024 ; filiale Remotasks
Surge AI	2020 (États-Unis)	Experts, auto-financé	Recrute des contributeurs diplômés pour des tâches spécialisées
Labelbox	2018 (États-Unis)	Plateforme d'outillage	Infrastructure d'annotation managée et assistée par IA

Les acteurs principaux

Appen, société australienne fondée en 1996 par la linguiste Julie Vonwiller, est l'un des pionniers du secteur. L'entreprise s'appuie sur un réseau de plus d'un million de contributeurs répartis dans plus de 130 pays et travaillant dans plus de 180 langues, pour des tâches allant de l'annotation d'image à la transcription en passant par l'évaluation de moteurs de recherche.

Scale AI, fondée en 2016 par Alexandr Wang alors âgé de 19 ans, a suivi une trajectoire de croissance spectaculaire : valorisée à plus d'un milliard de dollars dès 2019 après un investissement de 100 millions de dollars du Founders Fund de Peter Thiel, l'entreprise atteint 7 milliards de dollars de valorisation en 2021, puis dépasse les 13 milliards en 2024 à la faveur d'un tour de table mené par Accel. Son chiffre d'affaires a bondi de 290 millions de dollars en 2022 à 760 millions en 2023. Scale AI opère notamment via une filiale nommée Remotasks, dédiée au recrutement de travailleurs à la tâche pour des missions d'annotation à grande échelle.

À ces poids lourds s'ajoute un cas à part : Sama, née en 2008 sous le nom de Samasource sous l'impulsion de Leila Janah. Son projet initial relève de l'entrepreneuriat social plus que de la seule sous-traitance technologique : donner « du travail plutôt que de l'aide » (give work, not aid) à des populations à faibles revenus d'Afrique de l'Est et d'Inde, en les formant à l'annotation. Ce modèle, baptisé « impact sourcing », a valu à l'entreprise d'être parmi les premières sociétés d'IA certifiées B Corp lors de sa transformation en société à but lucratif en 2019. On verra plus loin que ce positionnement affiché n'a pas empêché la controverse — un paradoxe qui dit beaucoup des tensions du secteur.

Un marché en forte croissance, mais volatil

Cette industrialisation se reflète dans les chiffres du marché. Selon une étude de Grand View Research, le marché mondial des outils d'annotation de données était évalué à environ 1 milliard de dollars en 2023 et pourrait atteindre 5,3 milliards de dollars en 2030, soit une croissance annuelle composée projetée de 26,3 %, portée par la vision par ordinateur, les véhicules autonomes et, de plus en plus, les grands modèles de langage. Le segment de l'annotation de texte représentait à lui seul plus de 36 % des revenus du marché en 2023, l'Amérique du Nord en captant une part comparable.

Cette croissance globale masque toutefois de fortes turbulences individuelles. Appen en offre l'illustration la plus nette : en janvier 2024, Google a mis fin à un contrat qui représentait à lui seul environ 30 % du chiffre d'affaires de l'entreprise (82,8 millions de dollars sur 273 millions au titre de 2023, selon la presse financière), faisant chuter son action de plus de 40 % à l'annonce. Le paradoxe est saisissant — au moment même où la demande de données pour l'IA générative explose, un acteur historique de l'annotation vacille. C'est le signe d'un marché en pleine recomposition, où la valeur se déplace des tâches généralistes de masse vers des prestations plus qualifiées et mieux margées.

Ce mouvement illustre un paradoxe rarement souligné : plus les modèles d'IA deviennent capables, plus la demande de données annotées de haute qualité augmente, car l'amélioration marginale d'un modèle dépend de plus en plus de la finesse des retours humains qu'on lui fournit, et de moins en moins du simple ajout de données brutes non filtrées.

Les conditions de travail : ce que révèlent les enquêtes

Le fait que ce travail soit largement invisible aux yeux du grand public n'a pas empêché plusieurs enquêtes journalistiques et académiques de documenter, de façon vérifiable, les conditions dans lesquelles il s'exerce. Il est utile d'en rendre compte avec précision, sans exagération ni minimisation.

L'enquête de TIME sur le travail au Kenya

En janvier 2023, le magazine TIME a publié une enquête détaillée sur le recours d'OpenAI à des travailleurs kényans, employés via le sous-traitant Sama, pour annoter du contenu destiné à rendre ChatGPT moins toxique. Selon cette enquête, OpenAI a commencé à envoyer des dizaines de milliers d'extraits de texte à Sama à partir de novembre 2021. Ces extraits comportaient parfois des descriptions très crues de violences, d'abus ou de contenus à caractère sexuel, que les annotateurs devaient lire et catégoriser afin d'entraîner un outil de détection de contenu toxique, ensuite intégré à ChatGPT.

C'est ici que le paradoxe de l'« impact sourcing » se noue. L'entreprise mise en cause était précisément celle qui avait fait de l'emploi éthique son argument fondateur. Et l'écart entre le prix facturé et le salaire versé illustre la longueur de la chaîne d'intermédiaires : d'après TIME, OpenAI versait à Sama un tarif de l'ordre de 12,50 dollars de l'heure au titre de trois contrats totalisant environ 200 000 dollars, tandis que les annotateurs eux-mêmes percevaient un salaire net compris entre environ 1,32 et 2 dollars de l'heure, selon leur ancienneté et leurs performances.

Les quatre employés interrogés ont rapporté un impact psychologique significatif de ce travail, malgré l'existence théorique de séances de soutien avec des conseillers en bien-être, jugées rares et peu efficaces face à la pression de productivité. Sama a mis fin de façon anticipée à cette mission dès février 2022, et les deux parties ont convenu que le montant initial des contrats ne serait pas intégralement versé. En janvier 2023, Sama a annoncé qu'elle cessait tout travail portant sur des contenus sensibles.

Le travail à la tâche aux Philippines et au Venezuela

Des enquêtes de presse, notamment du MIT Technology Review (avril 2022) puis du Washington Post (août 2023), se sont penchées sur le fonctionnement de plateformes comme Remotasks, la filiale de Scale AI dédiée au recrutement de travailleurs à la tâche. Le constat dressé documente une chute des rémunérations à partir de 2021, période durant laquelle la plateforme s'est étendue vers de nouveaux pays, dont l'Inde et le Venezuela : certains freelances philippins seraient passés de tâches rémunérées jusqu'à 10 dollars à des tâches payées moins d'un centime, dans un contexte de mise en concurrence internationale des travailleurs. Des analyses ultérieures, publiées notamment par des organismes de défense des droits humains, ont fait état de rémunérations comprises entre 1 et 8 dollars de l'heure pour des travailleurs situés au Kenya, aux Philippines, au Venezuela ou en Inde, sans les protections associées à un contrat de travail classique.

Il est important de noter le contexte dans lequel s'inscrivent ces témoignages : ce travail à la tâche, rémunéré au projet plutôt qu'au salaire fixe, représente pour certains travailleurs un revenu d'appoint bienvenu dans des économies où les alternatives sont limitées, tandis que pour d'autres, il constitue une activité précaire et peu protégée. Les deux réalités coexistent, et c'est précisément cette hétérogénéité que les enquêtes citées s'efforcent de documenter plutôt que de trancher d'un bloc.

Une structuration collective qui émerge

Ces conditions ont fini par susciter des formes d'organisation. Au Kenya, Daniel Motaung, ancien modérateur de contenu, affirme avoir été licencié en 2019 après avoir tenté de fédérer une centaine de collègues ; il a engagé une action en justice très médiatisée contre Sama et le donneur d'ordre Meta, qui contestent ses accusations. Surtout, en mai 2023, plus de 150 modérateurs et annotateurs ayant travaillé pour plusieurs plateformes ont fondé, avec l'appui d'un syndicat kényan, ce qui a été présenté comme le premier syndicat africain des travailleurs de la modération de contenu. Le même mouvement a conduit un groupe de travailleurs à saisir les institutions nationales pour réclamer une enquête sur ce secteur. C'est un tournant : longtemps atomisée et invisible, cette main-d'œuvre commence à se doter de porte-parole et d'un cadre de revendication.

« Ghost work » : nommer le travail invisible

Ces constats de terrain rejoignent un travail académique plus ancien. Dès 2019, la chercheuse Mary L. Gray, avec l'informaticien Siddharth Suri, publiait l'ouvrage Ghost Work: How to Stop Silicon Valley from Building a New Global Underclass, récompensé la même année par le prix du McGannon Center. Les deux auteurs y documentent comment des services numériques en apparence entièrement automatisés — de la modération de contenu à l'entraînement de modèles — reposent en réalité sur une main-d'œuvre humaine dispersée, qu'ils qualifient de « travail fantôme » : un travail invisible non seulement pour l'utilisateur final, mais souvent pour les travailleurs eux-mêmes, qui ignorent à quel projet ou à quelle entreprise ils contribuent réellement.

Le terme a depuis essaimé, car il capture une caractéristique structurelle du secteur : contrairement à un salarié classique, un annotateur à la tâche n'a souvent aucune visibilité sur le projet auquel il participe, ni sur l'entreprise finale qui utilisera son travail — la relation contractuelle passe presque toujours par un ou plusieurs intermédiaires. Cette fragmentation, utile pour la flexibilité et la confidentialité des projets, complique aussi la représentation collective de ces travailleurs et la traçabilité de leurs conditions d'emploi.

Le paradoxe central de cette industrie tient en une phrase : les systèmes les plus « intelligents » du monde numérique dépendent d'un travail humain répétitif et souvent peu valorisé, exercé loin des sièges sociaux qui commercialisent ensuite ces technologies.

La qualité de l'annotation, un enjeu technique à part entière

Au-delà des conditions de travail, la qualité de l'annotation elle-même est un sujet technique central, trop souvent traité comme un détail d'exécution alors qu'il détermine directement la fiabilité du modèle final.

La cohérence entre annotateurs

Un indicateur clé, utilisé dans la recherche en apprentissage automatique, est l'accord inter-annotateurs : dans quelle mesure deux personnes différentes, confrontées au même exemple, donnent-elles la même étiquette ? Les chiffres du papier InstructGPT sont éloquents. Même avec des consignes détaillées et une équipe restreinte et formée, les annotateurs n'étaient d'accord entre eux qu'environ 72,6 % du temps sur le classement des réponses ; pour les annotateurs « de contrôle », issus des mêmes prestataires mais non soumis au test de sélection, ce taux montait à 77,3 %. Autrement dit, près d'une fois sur quatre, deux évaluateurs formés parvenaient à un verdict différent. Cette variabilité n'est pas un défaut d'exécution : elle rappelle que juger la qualité d'une réponse générée reste, en partie, un acte subjectif. D'où la nécessité de protocoles rigoureux : consignes détaillées, exemples types, double annotation avec arbitrage en cas de désaccord, et formation continue.

Les erreurs d'étiquetage, plus fréquentes qu'on ne le croit

Ce bruit ne reste pas cantonné aux jeux de données obscurs : il contamine jusqu'aux références les plus utilisées de la discipline. En 2021, une équipe menée par Curtis Northcutt a passé au crible dix des jeux de test les plus populaires du machine learning et estimé qu'ils contenaient, en moyenne, 3,4 % d'étiquettes erronées. Le jeu de validation d'ImageNet lui-même — celui-là même sur lequel des milliers de modèles ont été comparés — présentait environ 6 % d'erreurs. Conséquence contre-intuitive démontrée par les auteurs : sur des données de test suffisamment bruitées, un modèle réputé « moins performant » peut en réalité dépasser un modèle « plus performant » une fois les étiquettes corrigées. Les classements sur lesquels repose une partie de la recherche sont donc, à la marge, tributaires de la qualité du travail d'annotation.

Ce que mesure l'étude	Chiffre observé	Source
Accord entre annotateurs formés (classement de réponses)	≈ 72,6 %	InstructGPT (OpenAI, 2022)
Accord entre annotateurs « de contrôle »	≈ 77,3 %	InstructGPT (OpenAI, 2022)
Étiquettes erronées, moyenne sur 10 jeux de test	≈ 3,4 %	Northcutt et al. (2021)
Étiquettes erronées dans la validation d'ImageNet	≈ 6 %	Northcutt et al. (2021)

Les biais qui s'invitent dans les données

L'annotation n'est jamais un acte neutre. Les choix de catégories, les consignes données aux annotateurs, la composition démographique de l'équipe : chacun de ces éléments peut introduire des biais qui se retrouveront, amplifiés, dans le comportement du modèle final. Un exemple classique concerne la modération de contenu : ce qu'un annotateur juge « toxique » ou « acceptable » dépend en partie de son contexte culturel, de sa langue maternelle et de sa sensibilité personnelle. Consciente de cet écueil, l'équipe d'InstructGPT indique d'ailleurs avoir volontairement recruté des annotateurs issus de groupes démographiques variés. C'est pourquoi les équipes sérieuses cherchent à diversifier la composition de leurs panels et à documenter précisément leurs consignes, plutôt que de considérer l'annotation comme une simple tâche mécanique et interchangeable.

La qualité des données comme discipline à part entière

Cette attention à l'étiquetage s'inscrit dans un mouvement de fond que l'informaticien Andrew Ng, l'une des figures les plus écoutées du domaine, a baptisé en 2021 le « data-centric AI ». Le principe : plutôt que de figer les données et d'améliorer sans fin le modèle — l'approche dominante historiquement —, on fige le modèle et l'on améliore méthodiquement la qualité des données, en traquant notamment les incohérences d'annotation. Andrew Ng est allé jusqu'à organiser une compétition inversée, où les participants ne pouvaient toucher qu'aux données, pas au modèle.

Un jeu de données plus petit mais rigoureusement annoté surpasse fréquemment un jeu de données massif mais bruité. C'est le pari du « data-centric AI » : soigner l'étiquette avant d'empiler les gigaoctets.

Une montée en gamme : les annotateurs spécialisés

Un dernier phénomène mérite d'être signalé : la spécialisation croissante des profils recrutés pour l'annotation. Pendant longtemps, le secteur a majoritairement fait appel à des travailleurs généralistes, capables d'exécuter des tâches répétitives sans expertise préalable — reconnaître un objet, transcrire une phrase. Avec la montée en puissance des grands modèles de langage, une partie du marché s'est déplacée vers des tâches qui exigent une expertise de fond : vérifier la justesse d'un raisonnement mathématique, évaluer la pertinence d'un extrait de code, juger la solidité d'une argumentation juridique.

Cette évolution a fait émerger des acteurs positionnés spécifiquement sur ce segment. Surge AI, fondée en 2020 par l'informaticien Edwin Chen — et restée, fait notable dans un secteur avide de capital-risque, entièrement auto-financée —, illustre cette tendance : l'entreprise recrute des contributeurs sélectionnés pour leur expertise, parfois titulaires d'un doctorat, médecins, juristes ou linguistes polyglottes, et travaille pour plusieurs des principaux laboratoires d'IA. Ce type de profil est rémunéré nettement au-dessus des tarifs habituels de l'annotation généraliste, en cohérence avec le niveau de jugement exigé. La leçon à retenir n'est pas que l'annotation « simple » disparaît, mais qu'elle se stratifie : une base de tâches généralistes continue de mobiliser une main-d'œuvre nombreuse et peu qualifiée, tandis qu'une couche plus fine, mais stratégique, repose désormais sur une expertise pointue et mieux valorisée.

Vers plus d'automatisation, mais pas de disparition

Une tendance de fond consiste à utiliser des modèles d'IA eux-mêmes pour pré-annoter des données, charge ensuite à un humain de vérifier et corriger ce travail préliminaire — une approche parfois appelée « human-in-the-loop ». Cette automatisation partielle accélère le processus et réduit les coûts, mais elle ne supprime pas le besoin de supervision humaine : au contraire, elle déplace le travail de l'annotation pure vers la vérification et la correction, une tâche qui exige souvent un jugement encore plus fin que l'annotation initiale, car il s'agit de détecter les erreurs subtiles d'un modèle plutôt que de partir d'une page blanche.

Quand l'IA évalue l'IA : le pari du feedback automatisé

Une piste plus radicale a émergé pour réduire la dépendance aux labellisations humaines les plus sensibles, en particulier celles qui exposent des annotateurs à des contenus difficiles. En décembre 2022, l'équipe d'Anthropic a publié un article de recherche intitulé « Constitutional AI: Harmlessness from AI Feedback », qui propose de remplacer une partie du travail d'annotation humaine par un feedback généré par l'IA elle-même — une méthode que les auteurs nomment RLAIF, pour Reinforcement Learning from AI Feedback, en écho direct au RLHF fondé sur des retours humains.

Le principe repose sur une liste de principes écrits, la « constitution », qui sert de référence. Le modèle génère une réponse, la critique lui-même à la lumière de ces principes, puis la révise ; ce cycle d'auto-critique remplace une partie des jugements qu'un annotateur humain aurait dû porter manuellement sur des milliers d'exemples. Dans une seconde phase, c'est encore un modèle d'IA, et non des annotateurs humains, qui évalue laquelle de deux réponses respecte le mieux les principes énoncés, générant ainsi le signal utilisé pour l'apprentissage par renforcement.

Cette approche ne prétend pas éliminer entièrement le travail humain — les principes eux-mêmes sont rédigés par des personnes, et un contrôle humain reste nécessaire pour vérifier que le système se comporte comme prévu. Mais elle illustre une évolution notable : à mesure que les modèles progressent, une partie du travail d'évaluation le plus répétitif, et parfois le plus éprouvant psychologiquement — le jugement systématique de contenus violents ou toxiques —, peut être déléguée à d'autres modèles sous supervision allégée. Le travail humain ne disparaît pas : il se concentre sur ce qui reste irremplaçable, la définition des principes et le contrôle de la qualité globale, plutôt que sur la répétition de milliers de jugements individuels.

Un cadre réglementaire qui commence à s'en saisir

Face à ces constats, le sujet de la gouvernance des données d'entraînement a commencé à s'inviter dans les textes de loi, en particulier en Europe. Le règlement européen sur l'intelligence artificielle, l'AI Act, entré en vigueur en août 2024, consacre un article spécifique à cette question.

L'article 10 de l'AI Act, applicable aux systèmes d'IA classés à haut risque, impose que les jeux de données d'entraînement, de validation et de test soient pertinents, suffisamment représentatifs, et dans la mesure du possible exempts d'erreurs et complets au regard de la finalité poursuivie. Le texte exige également une gouvernance documentée des données couvrant leur collecte, leur origine, leur préparation — dont l'étiquetage fait explicitement partie — et les procédures d'assurance qualité. Il impose enfin un examen des biais susceptibles de conduire à une discrimination prohibée. Ces obligations, dont l'application pour la plupart des systèmes à haut risque a été reportée au 2 décembre 2027 par le règlement « omnibus » sur l'IA, adopté en 2026, ne réglementent pas directement les conditions de travail des annotateurs, mais elles obligent les fournisseurs de tels systèmes à documenter précisément comment leurs données ont été constituées et étiquetées — une exigence de traçabilité qui, indirectement, rejaillit sur toute la chaîne d'annotation.

On mesure ici la portée pratique des études sur les erreurs d'étiquetage évoquées plus haut : lorsque le régulateur exige des données « dans la mesure du possible exemptes d'erreurs », la question de la qualité de l'annotation cesse d'être un simple raffinement d'ingénieur pour devenir un point de conformité. Ce mouvement traduit une prise de conscience plus large : la qualité et la gouvernance des données ne sont plus considérées comme un détail technique interne, mais comme un enjeu de confiance à part entière, au même titre que la performance du modèle lui-même.

Ce que cela change pour les équipes qui construisent de l'IA

Pour une équipe technique qui conçoit ou déploie un système d'apprentissage automatique, ces constats se traduisent en choix concrets, à chaque étape du projet.

D'abord, sur le choix des prestataires : la diversité des acteurs du marché — des grandes plateformes généralistes aux spécialistes de niche travaillant avec des équipes internes qualifiées — permet d'arbitrer entre coût, rapidité et exigence éthique. Interroger un prestataire sur la rémunération effective de ses annotateurs, sur ses mécanismes de contrôle qualité et sur la diversité de ses équipes fait aujourd'hui partie d'une diligence raisonnable, au même titre que l'évaluation technique de ses outils. L'exemple d'Appen, dont le sort a basculé avec la perte d'un seul contrat, rappelle en outre qu'il est prudent de ne pas dépendre d'un fournisseur unique.

Ensuite, sur la conception des protocoles d'annotation : investir dans des consignes claires, la formation des annotateurs et un double contrôle réduit significativement le bruit dans les données, avec un effet direct sur la qualité du modèle final — les taux d'erreur observés jusque dans ImageNet montrent que ce risque n'épargne personne. Cela suppose aussi de calibrer le niveau d'expertise requis à la tâche : une classification d'images génériques ne demande pas le même profil qu'une évaluation de raisonnement mathématique, et confondre les deux conduit soit à gaspiller une expertise rare sur des tâches simples, soit à confier des jugements fins à des profils non préparés pour les rendre.

Enfin, sur la traçabilité : documenter systématiquement l'origine des données, les consignes données aux annotateurs et les taux d'accord inter-annotateurs n'est plus un simple exercice de rigueur scientifique, mais une exigence qui se rapproche, à mesure que les cadres réglementaires comme l'AI Act montent en puissance, d'une obligation de conformité. La question qui se pose de plus en plus aux équipes techniques n'est donc plus seulement « quelles données avons-nous ? » mais « qui les a annotées, dans quelles conditions, et avec quelle rigueur ? » — une question qui engage autant l'ingénierie que l'éthique du projet.

Rendre visible un maillon essentiel

L'annotation de données n'est ni un détail logistique ni une simple ligne de coût dans un budget de projet IA : c'est le socle sur lequel repose la capacité d'un modèle à comprendre le monde tel qu'il lui est présenté. De l'aventure fondatrice d'ImageNet aux comparatifs de réponses qui affinent aujourd'hui les grands modèles de langage, ce travail a considérablement gagné en sophistication, tout en restant fondamentalement humain : quelqu'un, quelque part, doit encore décider ce qui est juste, pertinent ou acceptable.

Les enquêtes menées sur les conditions de travail de certains annotateurs, au Kenya, aux Philippines ou ailleurs, ont eu le mérite de sortir ce métier de l'ombre et de poser une question légitime : la valeur créée par l'IA est-elle équitablement partagée avec celles et ceux qui, en amont, la rendent possible ? Cette question ne trouve pas de réponse unique et définitive — le cas de Sama, entreprise fondée sur une promesse d'emploi éthique puis rattrapée par la controverse, montre à quel point les intentions et les effets peuvent diverger — mais elle mérite d'être posée avec la même rigueur que l'on applique à l'évaluation des performances d'un modèle.

À mesure que les cadres réglementaires comme l'AI Act européen imposent une gouvernance documentée des données, et que les travailleurs eux-mêmes commencent à s'organiser, un constat demeure : reconnaître le rôle de l'annotation, c'est reconnaître que l'intelligence artificielle, aussi impressionnante soit-elle, reste construite par des mains humaines. Comprendre cette chaîne de valeur, de l'annotateur au modèle final, c'est se donner les moyens d'évaluer plus justement ce que l'on entend, souvent trop vite, par « intelligence » artificielle.

Sources

Cet article s'appuie sur des sources publiques et vérifiables :

• Ouyang, L. et al., « Training language models to follow instructions with human feedback » — arXiv 2203.02155 (méthode RLHF, quarantaine d'annotateurs, taux d'accord 72,6 % / 77,3 %).
• Northcutt, C., Athalye, A. et Mueller, J., « Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks » — arXiv 2103.14749 (3,4 % d'erreurs en moyenne, ~6 % dans ImageNet).
• TIME, « OpenAI Used Kenyan Workers on Less Than $2 Per Hour: Exclusive » — time.com (enquête janvier 2023, tarif de 12,50 $/h facturé, 1,32–2 $/h versés).
• MIT Technology Review, enquête sur l'industrie de l'annotation et ses travailleurs à la tâche — technologyreview.com (Remotasks, Scale AI, avril 2022).
• Foxglove, dossier sur les modérateurs de contenu au Kenya (Daniel Motaung, syndicat) — foxglove.org.uk.
• CNBC, « Alphabet ends contract with Appen, which trained Bard, Google Search » — cnbc.com (janvier 2024).
• Sama, « Our Founding Story » (Leila Janah, impact sourcing, B Corp) — sama.com.
• Wikipedia, « ImageNet » — en.wikipedia.org (Fei-Fei Li, WordNet, 49 000 travailleurs, Mechanical Turk, AlexNet 2012).
• Wikipedia, « Scale AI » — en.wikipedia.org (fondation, valorisations, chiffre d'affaires).
• Appen, présentation de l'entreprise et de son réseau de contributeurs — appen.com.
• Gray, M. L. et Suri, S., Ghost Work: How to Stop Silicon Valley from Building a New Global Underclass (2019) — présentation de l'ouvrage.
• Bai, Y. et al. (Anthropic), « Constitutional AI: Harmlessness from AI Feedback » — arXiv 2212.08073 (décembre 2022, méthode RLAIF).
• Wikipedia, « Surge AI » — en.wikipedia.org (fondation, auto-financement, recrutement d'experts).
• IEEE Spectrum, « Andrew Ng: Farewell, Big Data » — spectrum.ieee.org (mouvement data-centric AI, 2021).
• Grand View Research, « Data Annotation Tools Market Size, Share Report » — grandviewresearch.com (1 Md$ en 2023, 5,3 Md$ en 2030, TCAC 26,3 %).
• Artificial Intelligence Act, « Article 10: Data and Data Governance » — artificialintelligenceact.eu (texte officiel).