Claude 2.1 porte le contexte à 200 000 tokens

Le 21 novembre 2023, Anthropic a publié une mise à jour de son assistant, Claude 2.1, qui portait la fenêtre de contexte du modèle à deux cent mille jetons. Derrière ce chiffre technique se cachait une promesse concrète : la machine pouvait désormais lire d'un seul tenant l'équivalent d'environ cent cinquante mille mots, soit plus de cinq cents pages de texte. Un rapport annuel complet, une pile de contrats, plusieurs manuels techniques réunis — tout cela tenait dans une seule requête. Ce jour-là, la mémoire de travail d'un grand modèle de langage franchissait un palier que peu d'observateurs imaginaient atteignable si tôt, et l'analyse de très longs documents cessait d'être une affaire de découpage laborieux pour devenir, du moins en principe, une opération d'un seul geste.

Un tel geste n'a encore rien d'un réflexe. En cet automne 2023, déposer un dossier volumineux dans un assistant, l'interroger sur une clause enfouie au milieu du texte et attendre une réponse structurée relève d'une frontière qui vient tout juste de bouger. Comprendre ce que Claude 2.1 apporte aujourd'hui, mesurer sa portée réelle et esquisser les prolongements qu'on peut en attendre suppose de replacer l'annonce dans son moment, d'en peser l'impact technique, puis d'anticiper avec prudence la manière dont ces très longues fenêtres de contexte pourraient transformer nos usages.

Un mot de méthode avant d'entrer dans le détail. Les dates, versions, chiffres et citations rapportés ici proviennent de l'annonce officielle publiée par Anthropic, de son billet de suivi sur le prompting, de tests indépendants documentés et de la presse technologique spécialisée. Lorsqu'un élément relève de l'estimation ou n'est pas établi avec certitude, il est présenté comme tel. C'est la ligne de ce média : privilégier ce qui se vérifie et séparer nettement le fait de l'interprétation.

Ce que c'était : deux cent mille jetons dans une seule requête

Le 21 novembre 2023, Anthropic met en ligne un billet intitulé « Introducing Claude 2.1 ». Le texte annonce plusieurs nouveautés d'un même élan : une fenêtre de contexte élargie, une diminution mesurée des erreurs factuelles, une capacité d'appel d'outils externes en version d'essai, et l'arrivée d'instructions système paramétrables. La mise à jour est disponible immédiatement par l'interface de programmation dans la console de l'entreprise, et elle alimente l'expérience de dialogue sur claude.ai.

La caractéristique la plus commentée tient à la fenêtre de contexte : la quantité de texte qu'un modèle peut considérer d'un seul tenant pour formuler sa réponse. Claude 2.1 la porte à deux cent mille jetons, contre cent mille pour la version précédente. Le jeton, ou unité linguistique, est le fragment élémentaire que le modèle manipule ; deux cent mille d'entre eux représentent, selon Anthropic, environ cent cinquante mille mots, soit plus de cinq cents pages. L'entreprise décrit le traitement d'un message de cette longueur comme une première dans l'industrie.

Le traitement d'un message de 200 000 jetons est un exploit complexe et une première dans l'industrie.
— Anthropic, annonce « Introducing Claude 2.1 », 21 novembre 2023

Le doublement de la fenêtre n'est pas qu'une affaire d'arithmétique. Il ouvre une catégorie de tâches jusque-là hors de portée d'un seul appel : soumettre un ouvrage complet, une base de code entière, une série de dépositions ou plusieurs rapports financiers, puis demander une synthèse, une comparaison ou l'extraction d'une information précise. Anthropic mentionne explicitement l'analyse de longs documents comme cas d'usage central de cette version, avec la promesse d'un résumé plus fin, d'un questionnement plus nuancé et d'une comparaison de textes plus fiable.

Comprendre le jeton et la fenêtre de contexte

Pour saisir pourquoi ce chiffre compte, un détour par la mécanique s'impose. Un grand modèle de langage ne lit pas des mots au sens où nous l'entendons ; il manipule des jetons, ces fragments de texte issus d'un découpage statistique. Un jeton correspond à peu près à un mot court, à une partie de mot long, ou à un signe de ponctuation. En moyenne, pour de l'anglais, on compte environ quatre jetons pour trois mots, selon la règle d'usage la plus répandue (environ cent jetons pour soixante-quinze mots) ; le français, plus riche en accents et en flexions, tend à consommer un peu plus de jetons pour un même contenu. C'est pourquoi Anthropic traduit ses deux cent mille jetons par un ordre de grandeur d'environ cent cinquante mille mots plutôt que par une conversion stricte.

La fenêtre de contexte, elle, désigne la mémoire de travail immédiate du modèle : l'ensemble des jetons qu'il garde présents à l'esprit pendant qu'il rédige sa réponse. Tout ce qui dépasse cette fenêtre est simplement invisible pour le modèle au moment de répondre. Élargir la fenêtre revient donc à agrandir le champ de vision de l'assistant sur ce qu'on lui a soumis. Deux cent mille jetons signifient qu'un document de plusieurs centaines de pages tient d'un bloc dans ce champ, sans que l'on ait à le tronquer ni à le résumer par avance.

Cette élongation a un revers, qu'il vaut mieux nommer clairement. Le mécanisme d'attention qui permet à un modèle de relier les éléments d'un texte a un coût de calcul qui croît fortement avec la longueur : traiter deux fois plus de jetons demande sensiblement plus de ressources qu'un simple doublement. Anthropic évoquait d'ailleurs, à l'annonce, le caractère exigeant du traitement d'un message de cette taille. Une requête portant sur cent cinquante mille mots mobilise donc davantage de puissance et prend davantage de temps qu'une question courte — un paramètre que toute mise en production doit intégrer.

Moins d'erreurs factuelles, un pas vers la fiabilité

Au-delà du volume, Claude 2.1 met en avant une amélioration de l'honnêteté du modèle, c'est-à-dire sa propension à ne pas affirmer ce qu'il ignore. Le terme technique consacré pour désigner une affirmation inventée par un modèle est l'hallucination : une réponse plausible en apparence, mais sans fondement dans les données. Anthropic communique sur ce point avec des chiffres précis issus de ses propres évaluations.

• Un taux d'affirmations fausses réduit de moitié par rapport à Claude 2.0, selon l'entreprise.
• Une diminution d'environ trente pour cent des réponses incorrectes sur des questions portant sur de longs documents.
• Une probabilité trois à quatre fois plus faible de conclure à tort qu'un document soutient une affirmation qu'il ne contient pas.

Ce dernier point mérite une attention particulière, car il touche au cœur des usages professionnels. Un assistant qui invente un appui textuel là où il n'y en a pas est un assistant sur lequel on ne peut pas s'appuyer pour un travail juridique, financier ou réglementaire. En réduisant ce comportement, Anthropic vise directement la confiance nécessaire à un déploiement en entreprise. Ces chiffres reposent sur des mesures internes, ce qui invite à une lecture mesurée ; ils décrivent une tendance revendiquée, non un résultat validé par un tiers indépendant à la date de l'annonce. La direction, elle, est claire et va dans le sens d'une plus grande sûreté des réponses.

Cette exigence de fiabilité ne sort pas de nulle part. Elle découle d'une méthode propre à Anthropic, présentée dans un travail de recherche publié en 2022 sous le nom d'« IA constitutionnelle ». Le principe consiste à doter le modèle d'un ensemble de règles écrites — une sorte de charte — auxquelles il se réfère pour critiquer et corriger ses propres réponses, en s'inspirant de textes de référence comme la Déclaration universelle des droits de l'homme. Plutôt que de dépendre uniquement de retours humains cas par cas, le système apprend à s'autoréguler à partir de ces principes explicites, en deux temps : il s'entraîne d'abord à réviser ses propres sorties au regard de la charte, puis affine ce comportement par un apprentissage guidé par des retours qu'il génère lui-même à partir de ces mêmes principes.

Ce socle éclaire la logique de Claude 2.1. La baisse revendiquée des affirmations sans fondement et la réticence du modèle à répondre à partir d'un passage manifestement hors sujet — une prudence dont on reparlera plus loin — sont les fruits directs de cette approche. Anthropic ne cherche pas seulement un modèle qui en sait plus, mais un modèle qui se retient d'affirmer ce qu'il ne peut étayer. Sur des documents longs, où le risque d'extrapolation grandit avec le volume, cette posture prend tout son sens.

L'appel d'outils et les instructions système

Claude 2.1 introduit aussi, en version d'essai, une fonction que la communauté désigne par l'expression « appel d'outils » ou « usage d'outils ». L'idée consiste à laisser le modèle s'articuler à des fonctions et des services extérieurs plutôt que de tout produire par lui-même. Anthropic cite plusieurs exemples : recourir à une calculatrice pour un raisonnement numérique, traduire une demande formulée en langage naturel en un appel à une interface de programmation, interroger une base de données ou un moteur de recherche, se brancher à des services internes d'une organisation, ou puiser dans un catalogue de produits pour formuler une recommandation.

Cette orientation pourrait s'avérer structurante pour la suite. Un modèle qui sait déléguer une tâche à un outil dédié — un calcul exact à une calculatrice, une recherche à un index — combine la souplesse du langage avec la rigueur d'un système déterministe. On tient là ce qui a de bonnes chances de devenir l'un des piliers des assistants dits « agentiques ». À l'automne 2023, la fonction est encore balbutiante et proposée à titre expérimental, mais la trajectoire semble posée.

Dernière nouveauté notable, les instructions système. Il s'agit d'un message de cadrage placé en amont de la conversation, par lequel on précise à Claude le rôle qu'il doit tenir, le ton à adopter ou le format de réponse attendu. Anthropic présente ce dispositif comme un moyen d'améliorer la constance et la pertinence des réponses, en donnant au modèle un contexte durable qui traverse tous les échanges d'une session. Cette brique, qui pourrait vite devenir un réflexe dans toute intégration sérieuse, entre dès à présent dans l'outillage standard des développeurs travaillant avec Claude.

Le contexte : l'automne 2023, une course au long contexte

Claude 2.1 ne surgit pas isolément. Il arrive au terme d'une année 2023 d'une densité rare pour l'intelligence artificielle, et plus précisément au cœur d'un mouvement de fond : la course à l'allongement de la fenêtre de contexte. Pour saisir la portée de cette version, il faut remonter le fil de quelques mois.

De Claude 2 à Claude 2.1, un doublement en quatre mois

En juillet 2023, Anthropic avait déjà marqué les esprits en ouvrant Claude 2 au grand public, avec une fenêtre de cent mille jetons — un chiffre remarquable pour l'époque, qui permettait de soumettre l'équivalent d'un livre. Quatre mois plus tard, l'entreprise double cette capacité. Ce rythme dit quelque chose de la période : chaque acteur cherchait à repousser une limite qui conditionnait directement l'utilité de son assistant sur les tâches documentaires. Là où Claude 2 lisait un ouvrage, Claude 2.1 en absorbait deux, ou un dossier professionnel entier.

Ce bond s'inscrit dans la continuité de la démarche d'Anthropic, entreprise fondée en 2021 par d'anciens responsables d'OpenAI autour de Dario et Daniela Amodei, et centrée dès l'origine sur la sûreté et l'alignement des modèles — l'art de faire en sorte qu'un système se comporte conformément aux intentions de ceux qui l'emploient. La diminution revendiquée des hallucinations dans Claude 2.1 prolonge cette préoccupation : élargir la mémoire ne servirait à rien si le modèle se mettait à inventer davantage à mesure que le texte s'allonge.

GPT-4 Turbo et la surenchère des fenêtres

Le contexte immédiat de novembre 2023 est celui d'une émulation intense. Deux semaines avant Claude 2.1, le 6 novembre 2023, OpenAI avait présenté lors de sa conférence développeurs un nouveau modèle, GPT-4 Turbo, doté d'une fenêtre de cent vingt-huit mille jetons, soit l'équivalent d'environ trois cents pages. Ce modèle apportait aussi un tarif revu et de nouvelles capacités multimodales. La réponse d'Anthropic, deux semaines plus tard, portait la barre à deux cent mille jetons, prenant ainsi une avance chiffrée sur le concurrent le plus visible du moment.

Notre nouveau modèle, Claude 2.1, offre une fenêtre de contexte de 200K jetons, à la pointe de l'industrie.
— Anthropic, communication publique, novembre 2023

Il faut se garder de réduire cette période à un simple duel de chiffres. La taille de la fenêtre était devenue un argument commercial et un repère facile à comparer, mais elle ne résumait pas la qualité d'un modèle. Un assistant peut afficher une large capacité d'absorption tout en peinant à retrouver une information précise noyée au milieu du texte. Cette nuance, encore peu discutée à l'automne 2023, allait rapidement occuper le devant de la scène et devenir l'une des questions techniques les plus débattues de la période.

Une accélération générale du secteur

L'année 2023 avait été jalonnée d'annonces à cadence soutenue. Le lancement de ChatGPT fin 2022 avait fait entrer l'IA conversationnelle dans le quotidien de centaines de millions de personnes ; l'arrivée de GPT-4 en mars 2023 avait relevé le niveau sur le raisonnement ; la diffusion de modèles à poids ouverts par Meta, à l'été, avait élargi le champ des acteurs capables d'adapter ces systèmes. Dans ce paysage, la fenêtre de contexte s'était imposée comme l'un des axes de différenciation les plus lisibles. Claude 2.1 en fut, à sa date, l'expression la plus spectaculaire.

Cette course s'accompagnait d'un adossement financier et matériel croissant. En septembre 2023, deux mois avant Claude 2.1, Amazon annonçait un investissement pouvant atteindre quatre milliards de dollars dans Anthropic — une première tranche de 1,25 milliard étant engagée à l'annonce —, assortie du choix d'Amazon Web Services comme fournisseur de calcul principal pour les travaux de l'entreprise. Ce type d'alliance, entre un laboratoire de modèles et un géant de l'infrastructure, structurait alors le secteur : entraîner et servir des modèles à très longue fenêtre exige une puissance considérable, que peu d'acteurs possèdent en propre. Claude 2.1 arrivait donc porté par des moyens en forte hausse, dans une dynamique où la capacité de calcul devenait un facteur de compétition aussi déterminant que la recherche elle-même.

Modèle	Fenêtre de contexte	Annonce	Équivalent approximatif
Claude 2	100 000 jetons	11 juillet 2023	≈ 1 livre
GPT-4 Turbo	128 000 jetons	6 novembre 2023	≈ 300 pages
Claude 2.1	200 000 jetons	21 novembre 2023	≈ 500 pages, ≈ 150 000 mots

Ce que ça a changé : l'analyse documentaire à l'échelle professionnelle

La conséquence la plus tangible de Claude 2.1 se joue sur le terrain des usages professionnels. Une fenêtre de deux cent mille jetons transforme la nature des tâches que l'on peut confier à un assistant, et déplace la frontière entre ce qui exigeait un travail humain minutieux et ce qui devient une requête unique.

Le document long, d'un seul tenant

Avant les larges fenêtres de contexte, traiter un long document avec un modèle imposait de le découper en morceaux, de traiter chaque fragment séparément, puis de recoller les réponses — une chaîne fragile où le sens se perdait souvent aux jointures. Deux cent mille jetons changent cette logique. On soumet le texte entier, et le modèle dispose de l'ensemble pour raisonner. Anthropic met en avant plusieurs opérations directement facilitées par cette version.

• Résumer un rapport volumineux en conservant la structure d'ensemble plutôt qu'une suite de résumés partiels.
• Comparer deux versions d'un contrat ou deux documents proches pour en isoler les écarts.
• Répondre à des questions précises portant sur un passage enfoui dans des centaines de pages.
• Dégager des tendances ou des motifs récurrents à travers un corpus étendu.

Pour les métiers de l'analyse — juristes, financiers, chercheurs, équipes de conformité —, ce saut a une valeur concrète. Il ne remplace pas l'expertise humaine, mais il déblaie le travail de repérage et de première lecture, souvent chronophage. Le professionnel garde la main sur la vérification et la décision, tandis que l'assistant sert de premier filtre sur des volumes qu'aucune lecture attentive ne pourrait couvrir en un temps raisonnable.

Un signal fort pour l'entreprise

Le couple formé par la large fenêtre et la diminution revendiquée des hallucinations vise un public précis : les organisations. Une entreprise qui envisage d'intégrer un assistant à ses processus se soucie moins des prouesses de conversation que de la fiabilité sur ses propres documents. En avançant à la fois sur la capacité d'ingestion et sur l'honnêteté du modèle, Anthropic adressait ce public avec un message cohérent. L'ajout, la même semaine, de l'appel d'outils et des instructions système complétait ce positionnement orienté vers l'intégration technique.

La disponibilité par l'interface de programmation, dans la console de l'entreprise, confirmait cette orientation. Claude 2.1 n'était pas seulement un assistant grand public : c'était une brique que des équipes techniques pouvaient assembler dans leurs propres produits. À cet égard, la version marque une étape dans la maturation d'Anthropic, d'un laboratoire de recherche vers un fournisseur d'infrastructure logicielle sur lequel d'autres bâtissent.

Deux portes d'accès, deux publics

Concrètement, Claude 2.1 s'atteignait par deux voies distinctes, pensées pour des usages différents. La première, la console et l'interface de programmation, s'adressait aux développeurs et aux organisations souhaitant intégrer le modèle à leurs propres applications. On y trouvait un atelier permettant de tester et d'affiner des requêtes, de gérer plusieurs projets et de produire des extraits de code prêts à assembler. Cette voie servait la logique d'infrastructure évoquée plus haut.

La seconde voie, le site claude.ai, ouvrait le dialogue direct à un public plus large, en formule ouverte comme en abonnement. Anthropic réservait toutefois l'usage de la pleine fenêtre de deux cent mille jetons aux abonnés de son offre payante, qui pouvaient déposer les fichiers les plus volumineux. Ce découpage traduit une réalité économique : le traitement d'un très long contexte coûte plus cher en calcul, et l'entreprise en encadre donc l'accès selon le niveau d'engagement de l'utilisateur. Cette segmentation, qui pourrait bien s'installer comme une norme du secteur, en est encore, à l'automne 2023, à ses débuts.

Le coût, une variable à ne pas négliger

Un aspect moins spectaculaire, mais décisif pour qui déploie en conditions réelles, concerne l'économie du long contexte. Soumettre cent cinquante mille mots à chaque requête n'est pas une opération anodine : la facturation de ces modèles s'établit au jeton, en entrée comme en sortie, si bien qu'un appel exploitant toute la fenêtre revient sensiblement plus cher qu'une question brève. Anthropic indiquait, à l'annonce, faire évoluer sa tarification dans le sens d'une meilleure efficacité, sans qu'un barème détaillé n'accompagne cette version dans ses termes les plus précis.

Ce paramètre a une conséquence pratique immédiate : disposer d'une grande fenêtre ne signifie pas qu'il faille la remplir systématiquement. Verser un document entier dans le contexte à chaque requête peut se révéler à la fois plus lent et plus coûteux que d'en extraire d'abord les passages utiles. C'est l'une des raisons pour lesquelles, en production, la large fenêtre a tout intérêt à coexister avec des stratégies de sélection en amont — un point sur lequel on reviendra en esquissant les perspectives de cette version.

La limite qui a rendu la version célèbre

C'est ici qu'intervient l'épisode le plus instructif de l'histoire de Claude 2.1, et qui en dit long sur les usages réels du contexte long. Dans les jours qui suivent l'annonce, un ingénieur indépendant, Greg Kamradt, soumet le modèle à une épreuve qui s'impose déjà comme une référence : le test dit « de l'aiguille dans une botte de foin ». Le principe est simple. On insère une phrase précise — l'aiguille — à une profondeur variable dans un très long texte — la botte de foin —, puis on demande au modèle de la retrouver. En faisant varier la position de la phrase et la longueur du document, on cartographie la capacité réelle de récupération sur toute l'étendue de la fenêtre.

Les premiers résultats furent contrastés. Le modèle retrouvait bien l'information placée tout au début ou tout à la fin du document, mais sa fiabilité déclinait pour les passages situés au milieu, surtout au-delà d'une certaine longueur. Autrement dit, disposer d'une fenêtre de deux cent mille jetons ne garantit pas d'exploiter chacun de ces jetons avec la même acuité. Ce constat, largement commenté dès sa publication, nourrit une prise de conscience salutaire : la taille annoncée d'une fenêtre et la qualité effective de récupération sur toute son étendue sont deux mesures distinctes.

Anthropic a réagi rapidement, avec transparence, en publiant un billet consacré au prompting long contexte. L'entreprise y explique que Claude 2.1 se montrait réticent à répondre à partir d'une phrase manifestement hors sujet, insérée artificiellement dans un texte sans rapport — un comportement issu de son entraînement, précisément conçu pour ne pas affirmer n'importe quoi. Ce que le test lisait comme un échec de récupération relevait en partie d'une prudence apprise. La solution proposée était étonnamment simple.

En ajoutant à la réponse de Claude la phrase « Voici la phrase la plus pertinente du contexte : », le score sur l'évaluation d'origine est passé de 27 % à 98 %.
— Anthropic, billet « Long context prompting for Claude 2.1 », novembre 2023

Cette anecdote technique porte une leçon qui promet d'être durable. La performance d'un modèle sur un long contexte ne dépend pas seulement de son architecture, mais aussi de la manière dont on l'interroge. Un guidage explicite — inviter le modèle à commencer par citer le passage pertinent — peut faire basculer un résultat médiocre en un résultat quasi parfait. Cet enseignement a de fortes chances d'irriguer toute la pratique du prompting sur les longues fenêtres qui ne manquera pas de se développer : la formulation de la requête pèserait alors autant que la capacité brute.

Les perspectives : le long contexte, vers un standard et ses nuances

Reste à se demander quelle place Claude 2.1 pourrait occuper dans l'histoire encore courte de ces grands modèles. La version paraît en mesure d'installer une idée appelée à devenir familière : un assistant sérieux devrait pouvoir avaler de longs documents. Mais elle aura aussi, par l'épisode de l'aiguille, contribué à faire mûrir une compréhension plus fine de ce que « pouvoir » signifie réellement. Ces prolongements relèvent de l'anticipation, et non du fait établi ; ils sont présentés ici comme des hypothèses de travail, formulées au conditionnel, à partir de ce que l'on observe fin novembre 2023.

De 200K vers des fenêtres peut-être plus larges encore

La barre des deux cent mille jetons, spectaculaire en cette fin d'année 2023, a toutes les chances de servir de point de repère pour les mois à venir. Le rythme observé depuis l'été invite à la prudence autant qu'à l'anticipation : Claude 2 lisait un livre en juillet, Claude 2.1 en absorbe deux en novembre. Rien ne garantit que cette cadence se maintienne, mais la logique concurrentielle décrite plus haut laisse penser que les acteurs du secteur continueront de repousser cette limite, tant elle conditionne l'utilité d'un assistant sur les tâches documentaires. On peut raisonnablement s'attendre à voir apparaître, dans les prochaines versions des uns et des autres, des fenêtres égales ou supérieures à celle-ci.

Un point mérite toutefois d'être tempéré par avance. L'expérience de l'aiguille suggère que le prochain défi ne sera pas seulement d'annoncer des fenêtres plus grandes, mais d'y garantir une récupération fiable sur toute leur étendue. Si les laboratoires progressent dans cette direction, on pourrait imaginer des modèles capables de retrouver une information au milieu d'un très long texte avec une acuité proche de celle qu'ils affichent aux extrémités — et, pourquoi pas, assez fins pour signaler qu'un passage semble avoir été inséré artificiellement. Rien de tout cela n'est acquis à la date où ces lignes sont écrites ; ce sont des directions plausibles, à confirmer par les faits. Ce que Claude 2.1 présente comme une première dans l'industrie pourrait, si la tendance se poursuit, devenir peu à peu une caractéristique attendue plutôt qu'exceptionnelle. La barre se déplacerait alors, mais le principe posé cet automne resterait entier : la mémoire de travail d'un modèle est un levier direct de son utilité sur les tâches documentaires.

Un débat qui ne va pas se refermer de sitôt

La question soulevée par le test de l'aiguille ne devrait pas s'éteindre avec les prochains progrès ; elle a plutôt vocation à se déplacer sans se résoudre entièrement. On voit déjà se dessiner, dans la communauté technique, une distinction que les mois à venir ne feront sans doute que renforcer : d'un côté la fenêtre de contexte annoncée, c'est-à-dire le volume maximal qu'un modèle accepte en entrée, de l'autre la qualité de récupération effective, c'est-à-dire sa capacité à mobiliser avec justesse une information située n'importe où dans ce volume. Les deux ne coïncident pas parfaitement, et rien n'indique pour l'heure qu'un simple élargissement suffira à les réconcilier.

Les premières observations autour de Claude 2.1 laissent penser qu'à mesure que le contexte s'allonge, la précision pourrait s'éroder sur les passages intermédiaires, ou que le modèle pourrait privilégier certaines zones du texte au détriment d'autres. Ce phénomène, que l'on peut décrire comme une attention inégale le long du document, incite à penser que de nombreuses applications professionnelles auraient intérêt à combiner la large fenêtre avec des techniques de récupération ciblée : plutôt que de tout verser dans le contexte, sélectionner en amont les passages les plus pertinents avant de les soumettre au modèle. Une telle architecture hybride pourrait bien s'imposer, en production, comme une pratique à la fois courante et robuste.

Claude est moins enclin à répondre à des questions fondées sur une phrase hors de propos insérée dans un contexte plus large.
— Anthropic, billet « Long context prompting for Claude 2.1 », novembre 2023

Cette honnêteté sur les limites n'enlève rien à l'avancée. Elle la précise. Claude 2.1 rend possible l'ingestion de très longs documents dans un seul appel, ce qui constituait jusqu'ici une frontière réelle ; et l'exploration de ses limites, menée ouvertement par des tiers comme par Anthropic elle-même, offre déjà à la communauté des outils intellectuels pour employer ces fenêtres avec discernement. C'est cette combinaison — une capacité nouvelle et une compréhension lucide de son cadre — qui pourrait bien faire la valeur durable de cette version.

Ce que David Petitia en retient, côté production

Vu depuis la mise en service, Claude 2.1 illustre un principe qui traverse toute l'ingénierie des modèles : une capacité brute ne devient utile qu'accompagnée des méthodes qui en tirent parti. La fenêtre de deux cent mille jetons débloque des usages ; les enseignements sur le prompting long contexte et les architectures de récupération sont ce qui devrait permettre de les rendre fiables. L'un ne va pas sans l'autre.

Pour qui envisage de déployer de l'IA sur de vrais documents, trois repères issus de cet épisode paraissent devoir guider les mois à venir. D'abord, ne pas confondre la taille annoncée d'une fenêtre avec la qualité de récupération sur toute son étendue : la seconde se teste, elle ne se déduit pas de la première. Ensuite, soigner la formulation des requêtes sur les longs contextes, car un guidage explicite peut changer radicalement le résultat, comme l'a montré le passage de vingt-sept à quatre-vingt-dix-huit pour cent. Enfin, considérer la récupération ciblée non comme une béquille, mais comme un complément pertinent de la large fenêtre pour les charges documentaires les plus lourdes.

Claude 2.1 n'est sans doute pas un aboutissement, et l'on peut parier que ses propres concepteurs chercheront vite à le dépasser. C'est plutôt un jalon — l'un de ceux qui, en déplaçant une limite tout en éclairant ses contours, font avancer un domaine entier. En doublant la mémoire de travail de son assistant et en travaillant sa fiabilité, Anthropic rend l'analyse de très longs documents plus accessible aux usages professionnels, et pourrait bien contribuer à faire du long contexte un standard qu'on finira par tenir pour acquis. C'est peut-être la marque des avancées qui comptent : elles finissent par devenir si ordinaires qu'on en oublie le jour où elles étaient une première.

Sources

• Anthropic — « Introducing Claude 2.1 » (annonce officielle, 21 novembre 2023)
• Anthropic — « Long context prompting for Claude 2.1 » (billet de suivi, novembre 2023)
• Greg Kamradt — test « needle in a haystack » sur Claude 2.1 (200K jetons)
• InfoQ — « Anthropic Announces Claude 2.1 LLM with Wider Context Window and Support for AI Tools »
• OpenAI — « New models and developer products announced at DevDay » (GPT-4 Turbo, 128K, 6 novembre 2023)
• Amazon — investissement dans Anthropic et partenariat AWS (annoncé en septembre 2023)