Le 4 mars 2024, Anthropic ne présente pas un modèle, mais une famille. Ce jour-là, la société dévoile Claude 3 sous la forme de trois modèles portant des noms empruntés à la poésie japonaise et occidentale : Haiku, Sonnet et Opus. L'idée tient en une phrase : au lieu de proposer un seul système que chacun devrait plier à ses besoins, offrir un éventail où l'utilisateur choisit le point d'équilibre qui lui convient entre intelligence, vitesse et coût. Cette segmentation, banale aujourd'hui, était alors une manière neuve de penser la distribution d'un grand modèle de langage. Elle a durablement marqué la façon dont les laboratoires structurent leurs offres.
Pour la chronique « Les Métriques », un tel événement se lit d'abord dans les chiffres, mais aussi dans la logique produit qu'ils servent. Claude 3 combine deux gestes : un saut de qualité revendiqué au sommet de la gamme, et une déclinaison par usage sur toute la hauteur. Les deux méritent d'être examinés avec la même rigueur, en distinguant ce que les données confirment de ce qui relève de l'annonce.
Ce que c'était : trois modèles, un même socle
Claude 3 est annoncé le 4 mars 2024 comme une gamme de trois modèles rangés par capacité croissante : Haiku, Sonnet et Opus. Anthropic les décrit comme une progression, où chaque modèle « offre une performance de plus en plus puissante, permettant aux utilisateurs de choisir le meilleur équilibre entre intelligence, vitesse et coût pour leur application spécifique ». Cette formulation résume tout le projet : un seul socle technique, trois calibrages.
Le vocabulaire lui-même dit l'intention. Un haïku est un poème court et rapide ; un sonnet, une forme équilibrée et structurée ; un opus, une œuvre ample. Le nommage traduit la position de chaque modèle sur l'axe qui va de la légèreté à la profondeur. Là où d'autres empilaient des suffixes techniques, Anthropic a choisi une métaphore lisible, immédiatement mémorisable pour qui doit arbitrer entre plusieurs options.
Haiku, la vitesse au premier plan
Haiku est présenté comme le modèle le plus rapide et le plus compact de la gamme, pensé pour les réponses quasi instantanées et les volumes élevés. Anthropic illustre sa rapidité par un exemple concret : Haiku peut lire un article de recherche dense d'arXiv, d'environ 10 000 tokens, accompagné de graphiques et de schémas, en moins de trois secondes. L'argument n'est pas la performance de pointe sur un benchmark d'élite, mais le rapport entre l'intelligence disponible et le temps de traitement, pour des tâches à forte cadence comme la modération, la classification ou l'assistance en temps réel.
Sonnet, l'équilibre de production
Sonnet occupe le centre. Anthropic le positionne comme le compromis entre capacité et débit, taillé pour les charges de travail d'entreprise à grande échelle. Le laboratoire annonce que, pour la grande majorité des usages, Sonnet est deux fois plus rapide que Claude 2 et Claude 2.1, tout en offrant un niveau d'intelligence supérieur. C'est le modèle destiné à faire tourner des applications en continu sans que le coût unitaire ni la latence deviennent des obstacles.
Opus, le sommet de la gamme
Opus est le modèle le plus capable des trois. C'est sur lui que reposent les revendications de performance les plus fortes, et c'est lui qui a concentré l'attention le jour de l'annonce. Anthropic le décrit comme surpassant ses pairs sur la plupart des évaluations courantes des systèmes d'IA. Nous reviendrons en détail sur ces comparaisons, car elles demandent d'être lues avec précaution : ce sont des résultats communiqués par le concepteur du modèle, un point que la chronique tient à souligner sans détour.
| Modèle | Positionnement | Tarif à l'annonce (par million de tokens) |
|---|---|---|
| Claude 3 Haiku | Le plus rapide et le plus compact | 0,25 $ en entrée / 1,25 $ en sortie |
| Claude 3 Sonnet | Équilibre intelligence / vitesse | 3 $ en entrée / 15 $ en sortie |
| Claude 3 Opus | Le plus intelligent | 15 $ en entrée / 75 $ en sortie |
Chaque modèle occupe un point d'équilibre différent entre puissance, vitesse et coût. Le sommet (Opus) et le pied (Haiku) sont séparés d'un facteur 60 en prix.
L'écart de prix entre les extrémités de la gamme est considérable : d'un facteur soixante en entrée et de soixante en sortie entre Haiku et Opus. Cette amplitude n'est pas un détail comptable. Elle rend explicite le fait que toutes les tâches n'exigent pas la même puissance, et qu'aligner systématiquement le meilleur modèle sur chaque requête reviendrait à payer une intelligence dont on n'a pas l'usage. La gamme transforme ce constat en levier : on réserve Opus aux problèmes qui le justifient et on confie le reste à Sonnet ou Haiku.
À retenir. Entre Haiku et Opus, le prix varie d'un facteur 60 — en entrée comme en sortie. Ce n'est pas un détail comptable : aligner le modèle le plus puissant sur chaque requête revient à payer une intelligence dont on n'a pas l'usage. La gamme fait du choix du modèle un véritable levier de coût.
Simulateur de coût par modèle
Estimez votre facture quotidienne selon le modèle retenu, pour votre propre volume d'usage.
| Modèle | Coût estimé / jour | Écart vs Haiku |
|---|---|---|
| Haiku | $ — | référence |
| Sonnet | $ — | ×— |
| Opus | $ — | ×— |
Tarifs au lancement (4 mars 2024) : Haiku 0,25 $/1,25 $, Sonnet 3 $/15 $, Opus 15 $/75 $ par million de tokens (entrée/sortie). Estimation indicative, hors remises volume éventuelles.
Multimodalité et fenêtre de contexte
Un changement majeur accompagne Claude 3 : les trois modèles acquièrent des capacités de vision. Ils traitent une gamme étendue de formats visuels — photos, tableaux, graphiques et schémas techniques. Anthropic décrit ces capacités comme « au niveau des autres modèles de premier plan ». Pour une famille qui, jusqu'alors, se limitait au texte, l'ajout de l'entrée image élargit sensiblement le champ des usages : lecture de documents mêlant texte et figures, analyse de captures d'écran, interprétation de diagrammes.
Ce point avait une portée pratique immédiate. Une part considérable des documents professionnels — rapports, présentations, notices, fiches produits — mêle intimement texte et éléments visuels. Un modèle limité au texte ne peut en saisir qu'une moitié. En intégrant la lecture d'images, Claude 3 permettait de soumettre un document tel quel, sans le dépouiller au préalable de ses graphiques et de ses tableaux. Anthropic mettait particulièrement en avant la valeur de cette capacité pour les entreprises dont une part notable de la connaissance réside dans des formats visuels plutôt que dans du texte pur.
La fenêtre de contexte, elle, reste fixée à 200 000 tokens au lancement, dans la continuité de Claude 2.1. Anthropic précise toutefois un point remarquable : les trois modèles sont capables d'accepter des entrées dépassant un million de tokens, et le laboratoire indique qu'il pourrait rendre cette capacité accessible à certains clients. La barre des 200k restait donc le standard proposé, avec une marge technique bien supérieure tenue en réserve.
« Les trois modèles sont capables d'accepter des entrées dépassant un million de tokens, et nous pourrions rendre cela disponible pour certains clients. » — Anthropic, annonce Claude 3, 4 mars 2024.
Le contexte : une course rapide et un besoin de lisibilité
Pour saisir la portée du 4 mars 2024, il faut se replacer dans le paysage de l'époque. Les mois qui précèdent sont d'une intensité rare. Chaque laboratoire pousse ses cartes, et les repères bougent presque chaque semaine.
D'où venait Claude
Anthropic avait publié Claude 2.1 le 21 novembre 2023. Cette version apportait déjà une fenêtre de 200 000 tokens, un argument fort à un moment où la longueur de contexte devenait un terrain de compétition. Claude 2.1 restait cependant un modèle purement textuel, sans traitement d'image, et son positionnement demeurait celui d'un système unique. Le passage à Claude 3 marque donc deux ruptures simultanées par rapport à cette lignée : l'entrée dans le multimodal et le passage d'un modèle isolé à une gamme structurée.
Une compétition sur plusieurs axes
Fin 2023, OpenAI avait présenté GPT-4 Turbo, doté d'une fenêtre de 128 000 tokens et d'une base de connaissances rafraîchie. De son côté, Google avait dévoilé sa famille Gemini en décembre 2023, marquant son entrée dans la génération de modèles réputés de premier plan. La compétition ne se jouait plus seulement sur la qualité brute des réponses, mais sur plusieurs dimensions à la fois : la longueur de contexte, le coût par token, la vitesse d'inférence et, de plus en plus, la capacité à traiter autre chose que du texte.
Proposer un modèle de plus n'aurait pas suffi à se distinguer. Anthropic répond par une architecture d'offre. La segmentation en trois niveaux adresse une difficulté réelle que rencontraient les équipes techniques : comment déployer un modèle de langage en production sans que la facture ou la latence ne deviennent ingérables ? La réponse tenait rarement dans le modèle le plus puissant, souvent trop coûteux ou trop lent pour des tâches répétitives.
Il faut aussi rappeler la position singulière d'Anthropic dans ce paysage. La société avait bâti son identité sur la fiabilité et la prudence de ses modèles, quitte à ce qu'ils paraissent parfois trop réservés. Passer à une gamme calibrée permettait de conserver cette exigence tout en répondant à une critique récurrente : un modèle unique et coûteux ne pouvait pas convenir à tous les besoins. En déclinant Claude par tailles, le laboratoire élargissait son adressage sans renoncer à sa ligne. C'était une réponse produit à une contrainte à la fois technique et économique.
- Le coût : un modèle de pointe appliqué à des millions de requêtes simples devient rapidement onéreux.
- La latence : les usages interactifs, comme un assistant conversationnel, tolèrent mal les temps de réponse longs.
- La variété des tâches : classer un message, résumer un document ou raisonner sur un problème complexe ne demandent pas le même niveau de capacité.
La gamme Claude 3 apporte une réponse directe à ces trois tensions. Elle laisse l'utilisateur placer le curseur, tâche par tâche, plutôt que de trancher une fois pour toutes. C'est cette logique, autant que les scores d'Opus, qui a retenu l'attention des équipes techniques.
Ce que ça a changé : la segmentation et la vision
L'apport de Claude 3 se lit sur deux plans distincts. Sur le plan des capacités, Opus rehausse le niveau revendiqué au sommet. Sur le plan de l'usage, la gamme rend le choix du modèle explicite et rationnel. Examinons les deux, en commençant par les chiffres.
Les benchmarks annoncés d'Opus
Anthropic accompagne le lancement d'une série de scores sur les évaluations standards du domaine. Selon la fiche technique du modèle (« model card »), Claude 3 Opus obtient les résultats suivants : 86,8 % sur MMLU (connaissances de niveau licence, en configuration 5-shot), 50,4 % sur GPQA Diamond (raisonnement expert de niveau doctorat, 0-shot avec chaîne de raisonnement), 95,0 % sur GSM8K (mathématiques de base, 0-shot), 84,9 % sur HumanEval (génération de code, 0-shot) et 60,1 % sur MATH (problèmes mathématiques avancés, 0-shot).
Ces cinq mesures ne se valent pas et n'évaluent pas la même chose. Il vaut la peine de les détailler, car un score isolé ne dit rien sans son protocole :
- MMLU couvre des connaissances académiques réparties sur des dizaines de disciplines, du droit à la médecine. La configuration « 5-shot » signifie que le modèle reçoit cinq exemples avant de répondre.
- GPQA Diamond propose des questions de niveau doctorat, conçues pour résister à une simple recherche. Le score de 50,4 %, plus modeste en apparence, reflète la difficulté réelle de l'exercice.
- GSM8K teste des problèmes d'arithmétique posés en langage naturel, où le raisonnement pas à pas compte autant que le résultat.
- HumanEval mesure la génération de code : le modèle doit produire des fonctions qui passent des tests automatisés.
- MATH rassemble des problèmes mathématiques de niveau compétition, nettement plus exigeants que GSM8K.
Lus ensemble, ces chiffres dessinent un modèle solide sur un large front — connaissances, raisonnement, mathématiques, code — plutôt qu'un spécialiste d'un seul domaine. C'est cette polyvalence, autant que le sommet atteint sur tel ou tel test, qui justifiait le positionnement d'Opus.
Sur la foi de ces mesures, Anthropic affirme qu'Opus surpasse ses pairs sur la plupart des benchmarks courants, y compris face à des modèles concurrents de premier plan de l'époque. C'est ici que la chronique « Les Métriques » pose une réserve nette et assumée.
Ces résultats sont ceux communiqués par Anthropic, concepteur du modèle. Un laboratoire choisit ses configurations d'évaluation, ses protocoles et ses points de comparaison. Cela n'invalide pas les chiffres, mais impose de les lire comme une revendication à confirmer par des tiers, non comme un verdict neutre. Il faudra attendre des évaluations indépendantes pour situer précisément Opus face à ses concurrents ; l'ordre exact d'un classement dépend toujours des protocoles retenus.
À retenir. Un benchmark n'a de sens que rapporté à son protocole (5-shot, 0-shot…) et à la main qui le publie. Ici, les scores émanent du concepteur du modèle : à recouper par des tiers, non à tenir pour verdict.
Cette prudence n'enlève rien à l'avancée. Elle la situe. Opus a effectivement rehaussé la barre du niveau atteignable, et le fait qu'un modèle revendique une avance sur les références établies témoignait de la vitalité de la compétition. Mais un score annoncé par le vendeur n'a pas le même statut qu'un score reproduit indépendamment, et le dire fait partie du travail d'une lecture honnête des métriques.
Moins de refus inutiles
Un autre changement, moins spectaculaire mais concret pour l'usage quotidien, concerne le comportement des modèles face aux requêtes. Anthropic indique que les modèles Claude 3 sont nettement moins enclins à refuser de répondre à des demandes qui frôlent les garde-fous du système, comparés aux générations précédentes. Les versions antérieures avaient parfois la réputation d'être trop promptes à décliner des requêtes pourtant légitimes. Réduire ces refus superflus améliore directement l'expérience sans relâcher le cadre de sûreté.
Des progrès au-delà de l'anglais
La montée de niveau ne se limite pas aux tâches en anglais. Anthropic indique que l'ensemble de la famille Claude 3 progresse nettement en code et en fluidité dans les langues autres que l'anglais, citant explicitement l'espagnol, le japonais et le français. Cette amélioration ouvre des usages concrets : traduction, rédaction et conversation dans un large éventail de langues, pour un public réellement international. Selon la fiche technique du modèle, sur une version multilingue de MMLU, le modèle se situe au-dessus de 80 % dans plusieurs langues européennes — allemand, espagnol, français, italien, néerlandais, russe notamment.
Un point de méthode mérite d'être noté pour situer les réponses du modèle dans le temps : selon Anthropic, la coupure des connaissances de Claude 3 est fixée à août 2023. Autrement dit, le modèle ne dispose pas, nativement, d'informations postérieures à cette date. Ce repère aide à comprendre les limites de tout système entraîné : sa vision du monde s'arrête à un instant donné, et les événements survenus après lui échappent, sauf à les lui fournir en contexte.
À retenir. Coupure des connaissances de Claude 3 : août 2023. Tout événement postérieur échappe au modèle — sauf à le lui fournir dans le contexte de la requête.
La gamme comme outil de décision
Le second changement, sans doute le plus durable, tient à la manière dont on choisit désormais un modèle. Avant Claude 3, la question se posait surtout en termes binaires : utiliser tel modèle ou non. La gamme introduit une décision plus fine, à l'échelle de chaque tâche.
Concrètement, une même application pourra router ses requêtes vers le modèle adéquat : Haiku pour les opérations légères et massives, Sonnet pour le cœur de la charge, Opus pour les cas qui exigent le meilleur raisonnement. Cette architecture, où plusieurs modèles d'une même famille coexistent dans un produit, a tout pour devenir une pratique courante. Claude 3 n'invente pas seul l'idée de décliner un modèle par tailles, mais il la porte avec une clarté susceptible de faire école.
Prenons un exemple pour rendre cette logique tangible. Imaginons un service de traitement de courriers entrants. Une première étape trie et classe des milliers de messages : c'est un travail répétitif, à fort volume, où la vitesse et le coût unitaire priment — le terrain de Haiku. Une deuxième étape rédige des réponses circonstanciées, qui demandent de comprendre le contenu et de formuler proprement : Sonnet y trouve son point d'équilibre. Enfin, une poignée de cas épineux — un litige, une analyse fine, une décision délicate — justifie de mobiliser le meilleur raisonnement disponible : c'est le moment d'Opus. Un seul modèle imposerait de choisir entre payer trop cher pour le tri ou sous-doter les cas difficiles. La gamme évite ce dilemme.
Le routage : un seul produit, plusieurs modèles. La difficulté estimée de la requête détermine le niveau mobilisé — et donc la dépense.
Cette manière de composer avec plusieurs modèles a un nom informel dans les équipes : le routage. Elle suppose de savoir estimer, en amont, la difficulté d'une requête pour l'orienter vers le bon niveau. Ce n'est pas toujours simple, mais l'existence même d'une gamme cohérente rend l'exercice possible. Sans elle, l'arbitrage se limiterait à activer ou non un modèle unique.
Disponibilité au lancement
Opus et Sonnet sont accessibles dès le 4 mars 2024, via l'API d'Anthropic et l'interface claude.ai, dans 159 pays. Haiku, lui, est annoncé comme disponible prochainement. Les modèles arrivent aussi sur les plateformes cloud : Amazon Bedrock propose la gamme, et Google Cloud, via Vertex AI, l'ouvre en préversion. Cette distribution multi-plateforme compte autant que les modèles eux-mêmes : elle place Claude 3 là où les équipes techniques construisent déjà leurs applications.
L'anecdote « needle in a haystack » : les faits, sans surinterprétation
Un épisode a beaucoup circulé dans les jours suivant l'annonce, et il mérite d'être rapporté avec exactitude, car il a nourri bien des lectures exagérées.
Ce qui a été rapporté
Alex Albert, ingénieur chez Anthropic, a partagé un récit issu des tests internes. L'équipe faisait passer à Opus une évaluation dite « needle in a haystack » — l'aiguille dans la botte de foin. Ce protocole mesure la capacité de rappel d'un modèle : on insère une phrase cible, sans rapport avec le reste, au milieu d'un long corpus de textes, puis on demande au modèle de la retrouver. C'est un test classique de la mémoire de contexte.
Selon Albert, Opus a non seulement retrouvé la phrase — en l'occurrence une information sur des garnitures de pizza glissée dans un ensemble de documents sans lien —, mais a aussi signalé qu'il soupçonnait un test. Voici sa formulation, telle qu'il l'a publiée :
« Opus n'a pas seulement trouvé l'aiguille, il a reconnu que l'aiguille insérée était si déplacée dans la botte de foin que cela devait être un test artificiel construit par nous pour éprouver ses capacités d'attention. » — Alex Albert, Anthropic, mars 2024.
Albert ajoutait que ce « niveau de méta-conscience était très intéressant à observer », tout en soulignant que cela « mettait en évidence le besoin, pour l'industrie, de dépasser les tests artificiels au profit d'évaluations plus réalistes, capables de mesurer plus fidèlement les capacités et les limites réelles des modèles ».
Comment le lire avec mesure
La chronique « Les Métriques » tient à présenter cet épisode pour ce qu'il est : une observation intéressante, rapportée par un membre de l'équipe, et non une preuve de conscience. L'explication la plus sobre est simple à formuler. Le modèle a probablement rencontré, dans ses données d'entraînement, des descriptions de ce type de test. Il a pu associer la structure très particulière de l'entrée — une phrase incongrue perdue dans un corpus hétérogène — à ce schéma connu, et le formuler. Cela relève de la reconnaissance de motifs, non d'une forme d'introspection.
Dire cela n'ôte rien à l'intérêt de l'anecdote. Elle a nourri une conversation utile sur la qualité des évaluations : un test dont un modèle peut deviner la nature perd une partie de sa valeur. C'est précisément le point qu'Albert soulignait. L'épisode illustre surtout que les protocoles d'évaluation, à mesure que les modèles progressent, doivent eux aussi gagner en réalisme. Le présenter comme un signe d'éveil serait une surinterprétation que les faits ne soutiennent pas.
Les perspectives : une logique de gamme faite pour durer
Au lendemain du 4 mars 2024, deux questions se posent à qui veut mesurer la portée de l'annonce. La première : cette gamme n'est-elle qu'un produit de plus, ou l'amorce d'une trajectoire ? La seconde : le modèle d'offre proposé ce jour-là a-t-il vocation à rester propre à Anthropic, ou pourrait-il s'imposer plus largement ? On ne peut y répondre avec certitude, mais on peut raisonner sur ce que la structure elle-même laisse présager.
Une trajectoire qui semble tracée
Tout, dans l'architecture dévoilée, suggère une lignée appelée à se prolonger. En donnant à ses modèles des noms — Haiku, Sonnet, Opus — plutôt que de simples numéros de version, Anthropic s'est doté d'un cadre réutilisable : rien n'interdirait de faire évoluer chaque niveau indépendamment, en conservant la même grille de lecture. On imagine sans peine que le laboratoire raffine d'abord le modèle central, le plus sollicité en production, avant de faire progresser les extrémités de la gamme. Une numérotation pourrait ensuite marquer les sauts de génération, sans que l'ossature à trois niveaux ne bouge.
Ce ne sont là que des hypothèses, et l'avenir dira ce qu'Anthropic en fera. Mais la constance de la structure paraît être un choix délibéré, pensé pour durer. Si cette lecture est juste, les noms posés en mars 2024 devraient traverser plusieurs générations, quand bien même les capacités grandiraient et la numérotation changerait. Une décision d'architecture prise à un instant aurait alors façonné une trajectoire de plusieurs années.
| Étape | Date | Ce qu'elle apporte |
|---|---|---|
| Claude 2.1 | 21 novembre 2023 | Fenêtre de 200k tokens, modèle unique, texte seul |
| Claude 3 (Haiku, Sonnet, Opus) | 4 mars 2024 | Gamme de trois modèles, vision, segmentation par usage |
Un modèle d'offre qui pourrait faire école
Au-delà d'Anthropic, l'idée de proposer une gamme calibrée par vitesse, coût et puissance pourrait bien se généraliser. Décliner un modèle en plusieurs tailles, laisser l'utilisateur router ses requêtes selon la difficulté, ajuster la dépense à la valeur attendue de chaque tâche : ces pratiques ont tout pour devenir des réflexes de conception. Claude 3 n'en serait pas l'unique origine — plusieurs laboratoires semblent converger vers des logiques voisines —, mais il en offre une illustration nette et nommée, à un moment où le besoin se fait pressant.
On peut anticiper ce déplacement à la manière dont les équipes techniques commencent à parler de leur usage. La question pourrait cesser d'être « quel est le meilleur modèle ? » pour devenir « quel modèle pour quelle tâche ? ». Ce glissement, apparemment mineur, aurait des conséquences profondes sur la conception des applications. Un service bien pensé n'appellerait plus un seul modèle : il orienterait chaque requête vers le niveau adéquat, réserverait la puissance de pointe aux cas qui la méritent, et confierait la masse des opérations courantes à des modèles plus légers. Cette discipline de l'allocation, la gamme Claude 3 est faite pour la rendre naturelle.
Il serait exagéré de créditer un seul lancement d'une évolution collective à venir ; plusieurs laboratoires convergent déjà vers la même logique. Mais le 4 mars 2024 en offre un point de repère commode, parce qu'il la formule avec des noms simples et une progression lisible. Les nomenclatures internes des grands modèles sont souvent opaques ; Haiku, Sonnet et Opus disent d'emblée à quoi s'attendre.
La vision portée ce jour-là — remettre la barre de qualité très haut au sommet, tout en facilitant le choix du bon outil selon l'usage — demande maintenant à être confirmée par l'usage. Le pari d'Anthropic est que les équipes techniques ne se contenteront pas de prendre le modèle le plus puissant, mais composeront, mélangeront, arbitreront, exactement comme la gamme les y invite. Si ce pari se vérifie, ce sera peut-être là le legs le plus concret de Claude 3 : avoir rendu ordinaire l'idée qu'on choisit un modèle comme on choisit un outil, en fonction de la tâche.
Une leçon de méthode sur les évaluations
Le double épisode des benchmarks annoncés et du test « needle in a haystack » se rejoint sur une même question : comment évaluer honnêtement un modèle ? La chronique « Les Métriques » y voit un enseignement durable de mars 2024. D'un côté, des scores publiés par le concepteur, impressionnants mais à recouper. De l'autre, un test dont le modèle pouvait deviner la nature, ce qui en réduisait la valeur. Les deux rappellent qu'une métrique n'a de sens que rapportée à son protocole et à la personne qui la produit.
Cette exigence a de quoi mûrir dans les mois qui viennent. On peut s'attendre à ce que la communauté multiplie les évaluations indépendantes, les classements par des tiers et les tests moins prévisibles, précisément pour répondre aux limites qu'Albert lui-même pointe. Un score n'est pas une vérité : c'est une mesure, dans des conditions données, qu'il faut savoir interpréter. Célébrer une avancée n'oblige pas à prendre pour argent comptant chaque chiffre qui l'accompagne. C'est en tenant ces deux exigences ensemble — reconnaître le progrès, questionner la mesure — qu'on lit utilement l'actualité des modèles.
Ce que la lecture par les chiffres retient
Pour « Les Métriques », le bilan se résume à un double constat, tenu à distance de l'idolâtrie comme de l'inquiétude. D'un côté, Claude 3 rehausse le niveau au sommet, avec des scores forts sur les évaluations de référence — des scores dont il faut rappeler qu'ils émanent d'abord du concepteur, et qui restent à recouper par des tiers. De l'autre, il introduit une manière de structurer une offre de modèles qui pourrait s'imposer bien au-delà d'Anthropic.
Les benchmarks passeront, les records tomberont, de nouvelles générations arriveront. Mais la logique de gamme, elle, paraît faite pour rester. C'est souvent ainsi que l'on mesure l'importance d'un événement, non à l'éclat d'un chiffre annoncé, mais à la durée de la pratique qu'il installe. Le 4 mars 2024, Anthropic ne livre pas seulement un modèle rapide, un modèle équilibré et un modèle puissant. Il propose une façon de penser le choix — et tout indique qu'elle est appelée à tenir.
Sources
- Anthropic — « Introducing the next generation of Claude » (annonce officielle Claude 3, 4 mars 2024)
- Anthropic — « The Claude 3 Model Family: Opus, Sonnet, Haiku » (model card, scores de benchmarks)
- VentureBeat — récit du test « needle in a haystack » et citation d'Alex Albert
- Anthropic — « Introducing Claude 2.1 » (fenêtre de 200k tokens, 21 novembre 2023)
- OpenAI — annonce de GPT-4 Turbo (fenêtre de 128k tokens, novembre 2023)