Claude apprend à utiliser un ordinateur (Computer Use)

Le 22 octobre 2024, Anthropic a mis en accès une capacité qui semblait, quelques mois plus tôt, relever de la démonstration de laboratoire : une intelligence artificielle capable de regarder un écran, de déplacer un curseur, de cliquer sur des boutons et de taper au clavier, comme le ferait une personne installée devant sa machine. Baptisée « computer use » — l'usage de l'ordinateur —, cette fonction accompagnait une version améliorée de Claude 3.5 Sonnet et l'arrivée de Claude 3.5 Haiku. Pour la première fois chez un grand laboratoire d'IA généraliste, un modèle frontière proposé en accès public ne se contentait plus de produire du texte : il pilotait une interface graphique, cette même interface conçue au fil des décennies pour des mains et des yeux humains. Ce jour-là, la frontière entre un assistant qui répond et un assistant qui agit se déplaçait d'un cran, et l'idée d'un logiciel exécutant une tâche concrète de bout en bout cessait d'être une projection pour devenir un objet manipulable par n'importe quel développeur disposant d'un accès à l'interface de programmation.

L'idée d'un agent logiciel qui remplit un formulaire, navigue entre plusieurs applications ou enchaîne des étapes pour livrer un résultat n'a rien d'évident en cet automne 2024 : jusqu'ici, elle relevait surtout de la promesse. Ce jour-là, le geste tient de la percée. Comprendre ce que « computer use » apporte, en mesurer la portée réelle sans céder à l'emballement, puis pressentir ses prolongements possibles, suppose de replacer l'annonce dans son moment, d'en peser l'impact technique, et d'examiner avec lucidité ce que laissent entrevoir ces premiers agents visuels.

Un mot de méthode avant d'entrer dans le détail. Les dates, versions, chiffres et citations rapportés ici proviennent de l'annonce officielle publiée par Anthropic, de sa documentation technique, du billet de suivi sur ses défenses, et de la presse spécialisée qui a testé l'outil dès sa sortie. Lorsqu'un élément relève de l'estimation ou n'est pas établi avec certitude, il est présenté comme tel. C'est la ligne de ce média : privilégier ce qui se vérifie et séparer nettement le fait de l'interprétation. Le sujet s'y prête particulièrement, car cette version fut lancée avec une honnêteté rare sur ses propres limites — une honnêteté qu'il serait malvenu de gommer.

Ce que c'était : une IA qui regarde l'écran et prend la main

Le 22 octobre 2024, Anthropic met en ligne un billet intitulé « Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku ». Le texte annonce trois choses d'un même élan : une version améliorée de Claude 3.5 Sonnet, un nouveau modèle plus léger, Claude 3.5 Haiku, et surtout une capacité inédite proposée en version d'essai publique — la faculté, pour le modèle, de se servir d'un ordinateur. La formulation d'Anthropic est directe : les développeurs peuvent demander à Claude d'employer les ordinateurs à la manière des personnes, « en regardant un écran, en déplaçant un curseur, en cliquant sur des boutons et en tapant du texte ».

Nous avons appris à Claude des compétences informatiques générales, lui permettant d'utiliser un large éventail d'outils informatiques standard.
— Anthropic, annonce « Introducing computer use », 22 octobre 2024

La mécanique mérite d'être décrite précisément, car elle éclaire à la fois la promesse et les limites de la chose. Le modèle ne dispose d'aucun accès privilégié au système d'exploitation, d'aucune passerelle cachée vers les logiciels. Il procède exactement comme un observateur humain placé devant un poste : il reçoit une capture de l'écran, c'est-à-dire une image de ce qui est affiché à un instant donné. À partir de cette image, il raisonne, décide de l'action à entreprendre, puis émet une commande — déplacer le pointeur à telle coordonnée, cliquer, saisir une chaîne de caractères. L'action est exécutée, l'écran change, une nouvelle capture est renvoyée, et la boucle recommence. Cette architecture, où le modèle avance capture après capture, est le cœur du dispositif.

Le fonctionnement, étape par étape

Pour saisir pourquoi cette approche est à la fois ambitieuse et fragile, il faut en dérouler le cycle. « Computer use » s'appuie sur une boucle d'action et de perception que l'on peut résumer ainsi.

• L'utilisateur formule une tâche en langage naturel : réserver un créneau, remplir un tableau, extraire des informations d'un site et les reporter ailleurs.
• Le modèle reçoit une capture de l'écran courant, qu'il analyse comme une image afin d'y repérer les éléments cliquables, les champs de saisie et le contexte visuel.
• Il choisit une action élémentaire — un clic à une position précise, une frappe au clavier, un défilement — et la transmet sous forme de commande à l'environnement.
• L'environnement exécute l'action, l'affichage se modifie, et une nouvelle capture est renvoyée au modèle.
• Le cycle se répète, action après action, jusqu'à ce que la tâche soit accomplie ou que la limite d'étapes fixée soit atteinte.

Ce déroulé porte une conséquence importante : le modèle ne « voit » l'ordinateur qu'à travers des images successives, et il doit tout inférer de ce qu'il perçoit. Il n'a pas de représentation interne du logiciel qu'il manipule, pas de plan du menu qu'il vient d'ouvrir. Chaque décision repose sur l'interprétation d'une capture. Cette contrainte explique une grande partie des difficultés rencontrées au lancement, car une interface humaine regorge de subtilités visuelles — un bouton à peine grisé, une infobulle transitoire, un menu déroulant qui masque le reste — que l'œil humain déchiffre sans effort mais qu'un modèle doit apprendre à lire.

Une brique technique, pas une application finie

Il importe de bien situer ce qu'Anthropic a livré ce jour-là. « Computer use » n'était pas un produit grand public prêt à l'emploi, mais une capacité exposée par l'interface de programmation, à destination des développeurs. Concrètement, l'entreprise a défini un ensemble d'actions que le modèle pouvait déclencher — bouger la souris, cliquer, taper, faire une capture — et a laissé les équipes techniques bâtir par-dessus. Pour faciliter les premiers pas, Anthropic a diffusé une implémentation de référence, une sorte de démonstration montée dans un environnement isolé, avec un navigateur et quelques applications, que chacun pouvait reprendre et adapter.

Cette distinction n'est pas un détail. Elle explique pourquoi les premiers retours, ceux des testeurs qui se sont emparés de l'outil dès le 22 octobre, oscillent entre fascination et prudence. Ce qui était mis entre les mains de la communauté relevait de la matière première d'un agent, pas d'un agent poli et fiable. La responsabilité de l'assembler, de l'encadrer et d'en tester les limites revenait à ceux qui bâtissaient dessus — un partage assumé, cohérent avec la nature expérimentale de la version.

Deux modèles, un même mouvement

« Computer use » ne venait pas seul. La même annonce présentait une version améliorée de Claude 3.5 Sonnet, dont les progrès sur le code étaient particulièrement nets, et un nouveau modèle plus rapide et plus léger, Claude 3.5 Haiku. Sur le banc d'essai SWE-bench Verified, qui évalue la capacité d'un modèle à résoudre des tickets réels tirés de projets logiciels, la version améliorée de Claude 3.5 Sonnet faisait passer le score de 33,4 % à 49,0 %, un bond considérable qui la plaçait, à sa date, en tête des modèles accessibles publiquement. Ce gain sur le raisonnement de programmation n'est pas étranger à « computer use » : piloter une interface, c'est aussi enchaîner des actions logiques, corriger le tir, poursuivre un objectif sur plusieurs étapes — des compétences voisines de celles qu'exige la résolution d'un problème de code.

Le contexte : les modèles savaient parler, restait à leur apprendre à agir

« Computer use » ne surgit pas d'un ciel vide. Il arrive au terme d'une période où une tension traversait tout le domaine : les grands modèles de langage impressionnaient par leur maîtrise du texte, mais peinaient à transformer cette maîtrise en actions concrètes dans le monde des logiciels. Pour mesurer la portée de l'annonce, il faut remonter ce fil.

Du modèle qui répond au modèle qui fait

Depuis l'irruption des assistants conversationnels dans le grand public fin 2022, une évidence s'était installée : ces systèmes savaient rédiger, résumer, traduire, expliquer. Mais une limite tout aussi évidente les accompagnait. Un assistant pouvait décrire par le menu la marche à suivre pour réserver un billet ou remplir un tableur, sans pouvoir accomplir lui-même la moindre de ces étapes. Il restait cantonné à la parole. Franchir le pas de l'action supposait de le brancher au reste du monde numérique, et c'est précisément ce chantier qui occupait le secteur en 2024.

Deux voies principales se dessinaient pour combler cet écart. La première consistait à connecter le modèle à des services extérieurs par des interfaces dédiées, prévues pour le dialogue entre logiciels — l'« appel d'outils », déjà en germe dans les versions précédentes. Cette approche est robuste, mais elle exige qu'une interface propre existe pour chaque service, et que quelqu'un l'ait construite. Or l'immense majorité des logiciels que nous employons au quotidien n'exposent rien de tel : ils offrent un écran, des boutons, des menus, conçus pour des humains. La seconde voie, celle de « computer use », prenait le problème à l'envers : plutôt que d'attendre que chaque application se dote d'une porte d'entrée pour les machines, elle apprenait au modèle à emprunter la porte des humains — l'interface graphique elle-même.

Une immense quantité de travail moderne se fait via des ordinateurs. Permettre aux IA d'interagir directement avec les logiciels informatiques comme le font les gens ouvrira un vaste éventail d'applications hors de portée des assistants actuels.
— Anthropic, annonce « Introducing computer use », 22 octobre 2024

L'idée d'agent, dans l'air du temps

Le terme d'« agent » circulait depuis un moment déjà. On désignait ainsi un système capable de poursuivre un objectif en plusieurs étapes, en observant les résultats de ses propres actions pour ajuster la suite, plutôt que de produire une réponse unique et figée. Plusieurs acteurs du domaine exploraient cette piste, chacun avec ses paris. La difficulté ne tenait pas au manque d'ambition, mais à la fiabilité : un système qui doit enchaîner dix, vingt ou cinquante actions sans se tromper voit ses chances de succès s'effondrer à mesure que la chaîne s'allonge, car la moindre erreur en cours de route compromet tout le reste. Un modèle brillant sur une réponse ponctuelle pouvait se révéler bien plus hésitant sur une tâche longue.

C'est dans ce paysage que « computer use » prend son sens. En donnant au modèle un moyen d'agir universel — l'écran, la souris, le clavier —, Anthropic répondait à l'un des verrous les plus tenaces du domaine : comment rendre un assistant capable d'opérer dans le foisonnement des logiciels existants sans avoir à les adapter un par un. La réponse choisie était élégante par sa généralité, et risquée par son exigence, puisqu'elle demandait au modèle de maîtriser la perception visuelle, le raisonnement pas à pas et le contrôle moteur d'une interface, le tout dans une même boucle.

Un jalon dans une trajectoire assumée

Ce pas s'inscrit dans la continuité de la démarche d'Anthropic, laboratoire fondé en 2021 autour de la sûreté et de l'alignement des modèles — l'art de faire en sorte qu'un système se comporte conformément aux intentions de ceux qui l'emploient. Ouvrir à un modèle la possibilité d'agir sur un ordinateur soulève, par construction, des questions de sécurité inédites. L'entreprise ne les a pas éludées ; elle les a placées au premier plan de son annonce, au point d'accompagner la sortie de recommandations d'usage prudentes. Cette posture, sur laquelle on reviendra, distingue nettement « computer use » d'une simple course à la fonctionnalité.

Ce que ça a changé : des tâches multi-étapes confiées à la machine

La conséquence la plus tangible de « computer use » se joue sur le terrain des tâches concrètes, celles qui exigent d'enchaîner plusieurs opérations à travers une ou plusieurs applications. Là où un assistant classique s'arrêtait au conseil, un agent visuel pouvait, en principe, aller au bout de l'action. Cette bascule, même imparfaite au départ, a redéfini l'horizon de ce qu'on pouvait envisager de déléguer à un logiciel.

Les premiers cas d'usage concrets

Dès l'annonce, Anthropic citait des tâches types : reprendre des données éparpillées entre plusieurs sources pour remplir un formulaire, naviguer sur le web pour rassembler des informations, ou orchestrer une suite d'actions dans une application. Plusieurs organisations avaient déjà commencé à explorer la capacité. L'entreprise mentionnait notamment Asana, Canva, Cognition, DoorDash, Replit et The Browser Company parmi les premiers à s'y essayer. Replit, par exemple, s'en servait pour développer une fonction d'évaluation d'applications au fil de leur construction, intégrée à son produit d'agent de développement.

Le point commun de ces expérimentations tient au caractère répétitif et multi-étapes des tâches visées. Reporter manuellement des dizaines de lignes d'un tableau vers un formulaire, vérifier une série d'écrans, tester une interface en cliquant méthodiquement partout : ces travaux, fastidieux pour un humain, sont exactement ceux qu'un agent visuel promettait d'absorber. La promesse n'était pas de supplanter le jugement humain, mais de décharger l'opérateur des enchaînements mécaniques, en le laissant maître de la définition de l'objectif et du contrôle du résultat.

Les chiffres, à lire avec justesse

Anthropic a accompagné son annonce de mesures sur un banc d'essai conçu pour évaluer la capacité d'un modèle à se servir d'un ordinateur : OSWorld. Ce test place le système devant de vraies tâches informatiques — manipuler des fichiers, employer des logiciels, naviguer dans un système — et mesure la proportion de celles qu'il mène à bien. Les résultats communiqués sont éclairants, à condition de les lire dans leur contexte.

Deux lectures se dégagent de ce tableau. D'un côté, un progrès net : passer de 7,8 % à 14,9 % en captures seules, soit près du double du meilleur résultat antérieur, marque une avancée réelle sur une tâche notoirement difficile. En donnant au modèle davantage d'étapes pour se reprendre, le score grimpait à 22,0 %. De l'autre côté, la comparaison avec la performance humaine, mesurée à 72,36 % sur le même banc, situe l'ampleur du chemin restant. Anthropic n'a pas cherché à masquer cet écart ; elle l'a exposé, ce qui donne à ces chiffres leur juste valeur : le signal d'un début prometteur, non celui d'une parité atteinte.

Une capacité proposée là où travaillent les développeurs

« Computer use » était accessible dès le lancement par trois voies principales, ce qui a beaucoup contribué à sa diffusion rapide. Les développeurs pouvaient l'employer par l'interface de programmation d'Anthropic, mais aussi via Amazon Bedrock et Google Cloud Vertex AI, les plateformes d'infrastructure sur lesquelles de nombreuses entreprises font déjà tourner leurs applications. Cette disponibilité immédiate sur plusieurs canaux traduit un choix : mettre la brique là où les équipes techniques la trouveraient sans friction, plutôt que de la cloisonner dans un environnement propriétaire.

Ce que cette ouverture a permis, concrètement, c'est une vague d'expérimentations en quelques jours. Des ingénieurs indépendants ont branché la capacité sur des tâches variées, publié leurs essais, documenté les réussites comme les ratés. Cette effervescence des premiers jours a joué un rôle utile : elle a rapidement cartographié ce que « computer use » savait faire et ce sur quoi il trébuchait, offrant à la communauté une image bien plus riche que la seule annonce officielle.

L'honnêteté sur les limites, un choix éditorial d'Anthropic

Il faut insister sur un point qui distingue cette sortie : Anthropic a présenté « computer use » sans en gommer les faiblesses. L'entreprise a décrit une capacité encore jeune, lente sur certaines opérations, et sujette à l'erreur. Les termes employés sont explicites.

À ce stade, c'est encore expérimental — parfois laborieux et sujet à des erreurs.
— Anthropic, annonce « Introducing computer use », 22 octobre 2024

Anthropic ajoutait que la capacité de Claude à se servir d'un ordinateur était, à cette date, imparfaite, et que certaines actions banales pour un humain — faire défiler une page, glisser un élément, agrandir une fenêtre — pouvaient poser problème au modèle. Cette transparence n'est pas une concession arrachée après coup, mais un cadrage assumé dès le premier jour. Elle a une vertu : elle prévient les attentes démesurées et invite ceux qui s'emparent de l'outil à l'employer avec discernement, sur des tâches où une erreur reste sans gravité. Pour un média qui refuse aussi bien l'emballement que la crainte, ce ton mesuré de l'annonceur lui-même est un repère précieux.

La sécurité, posée d'emblée

Confier à un modèle la main sur un ordinateur ouvre une catégorie de risques qu'Anthropic a traitée frontalement. Le principal tient à ce que l'on appelle l'injection d'instructions indirecte : le modèle, qui lit tout ce qui s'affiche à l'écran, peut rencontrer sur une page web ou dans une image un texte formulé comme une consigne, et se laisser détourner de la tâche que lui a confiée l'utilisateur. Un contenu malveillant glissé dans une page pourrait ainsi tenter d'infléchir le comportement de l'agent. Il s'agit d'une faille propre à ce mode d'interaction, et Anthropic l'a signalée sans détour.

Les mesures recommandées au lancement étaient claires : faire tourner « computer use » dans un environnement cloisonné — une machine virtuelle ou un conteneur aux privilèges réduits —, tenir le modèle à l'écart des données et des actions sensibles, et éviter de lui confier des opérations à fort enjeu sans supervision. Anthropic indiquait par ailleurs avoir entraîné le modèle à résister à ces tentatives de détournement et avoir ajouté une couche de défense, avec des classificateurs chargés de repérer d'éventuelles injections. Ce souci de la sécurité, intégré à l'annonce plutôt que renvoyé à plus tard, s'accorde avec l'identité de l'entreprise et donne le ton d'un déploiement raisonné.

Les perspectives : les fondations possibles d'une génération d'agents

Au moment de son annonce, la place que « computer use » pourrait occuper dans l'histoire récente de l'IA se devine plus qu'elle ne se lit. La capacité ne règle pas, à elle seule, la question des agents, et son score initial le dit assez. Mais elle pose un jalon en montrant, concrètement et publiquement, qu'un modèle peut piloter une interface humaine. Ce qui s'en construira dépendra de cette démonstration, et l'on ne peut qu'en esquisser les prolongements probables.

De la démonstration vers des agents plus sûrs

La trajectoire qui s'ouvre pourrait se faire par étapes rapprochées. Une voie complémentaire semble se dessiner : à côté de « computer use », qui apprend au modèle à emprunter l'interface des humains, on peut imaginer des mécanismes plus normalisés pour relier les modèles à des outils et à des sources de données extérieures, propres et structurés, à destination des services capables d'exposer une telle porte d'entrée. Les deux approches, loin de s'opposer, se révéleraient sans doute complémentaires : l'une pour les logiciels sans porte d'entrée dédiée, l'autre pour ceux qui pourraient en fournir une. Rien de cela n'est encore acquis à l'automne 2024 ; ce ne sont là que des directions plausibles.

De même, on peut anticiper que l'esprit de « computer use » — un modèle qui agit, étape après étape, sur un environnement réel — trouve à s'appliquer à d'autres terrains que l'écran, la souris et le clavier. Un environnement où l'interaction passerait par des commandes textuelles plutôt que par des captures d'écran, par exemple, promettrait une conduite plus prévisible et plus contrôlable. Une telle filiation, si elle se confirmait, illustrerait une leçon possible : la première mouture visuelle aurait ouvert la voie, et les déclinaisons suivantes gagneraient en robustesse en resserrant le cadre. Il faut ici rester au conditionnel, car ces développements restent, à la date de l'annonce, du domaine de l'hypothèse raisonnée.

Une fiabilité qui devra progresser

Le point faible du lancement — la fragilité de l'enchaînement d'actions sur de longues tâches — est précisément celui sur lequel les versions ultérieures devront le plus travailler. On peut s'attendre à ce que les modèles à venir, chez Anthropic comme chez les autres acteurs du domaine, améliorent leur capacité à tenir un objectif sur de nombreuses étapes, à se corriger en cours de route et à mener à bien des tâches informatiques plus longues et plus variées. Le geste inauguré en octobre 2024 — observer, décider, agir, recommencer — a toutes les chances de rester le même dans son principe ; c'est sa fiabilité qui devrait s'affermir, à mesure que l'entraînement et l'outillage mûriront.

Il serait imprudent de proclamer la question réglée d'avance. Les agents visuels resteront longtemps perfectibles, et l'écart avec la maîtrise humaine d'une interface, même s'il devait se réduire, ne s'effacera pas d'un coup sur les tâches les plus retorses. Mais la direction paraît nette, et elle prolongerait fidèlement l'esprit de l'annonce initiale : une avancée réelle, mesurée avec honnêteté, à poursuivre par petits progrès plutôt qu'à proclamer acquise. C'est cette continuité espérée qui donnerait à « computer use » sa valeur de point de départ.

La sécurité, un chantier permanent

L'autre enjeu durable tient à la question de sécurité posée dès le premier jour. L'injection d'instructions, identifiée à l'annonce, a tout pour rester un sujet de recherche actif, chez Anthropic comme dans la communauté au sens large. On peut s'attendre à ce que les travaux continuent d'explorer les attaques possibles sur les agents qui lisent l'écran ou naviguent sur le web, et les défenses qui les contrent — cloisonnement des environnements, classificateurs, entraînement à la résistance, supervision humaine sur les actions à fort enjeu. Cette vigilance, loin d'être un frein, devra accompagner la montée en maturité des agents : plus on leur confiera de responsabilités, plus il faudra soigner le cadre dans lequel ils opèrent.

La capacité actuelle de Claude à utiliser un ordinateur est imparfaite. Certaines actions que les gens réalisent aisément — faire défiler, glisser, zoomer — posent pour l'instant des difficultés à Claude.
— Anthropic, annonce « Introducing computer use », 22 octobre 2024

Ce que David Petitia en retient, côté production

Vu sous l'angle de la mise en service, « computer use » illustre un principe qui traverse toute l'ingénierie des systèmes d'IA : une capacité brute ne devient utile qu'accompagnée du cadre qui en tire parti sans se laisser piéger par ses faiblesses. La faculté de piloter un écran débloque une classe entière de tâches ; les recommandations de cloisonnement, la supervision humaine et le choix judicieux des cas d'usage sont ce qui, en pratique, permettrait de les rendre exploitables. L'un ne va pas sans l'autre.

Pour qui envisage, dès aujourd'hui, de mettre un agent visuel au travail, trois repères se dégagent de cet épisode. D'abord, ne jamais confondre une démonstration réussie avec une fiabilité de production : un agent qui réussit une tâche sur cinq en laboratoire demande, en conditions réelles, une surveillance et des garde-fous proportionnés. Ensuite, cloisonner par défaut — environnement isolé, privilèges réduits, éloignement des données sensibles — car la surface d'attaque d'un modèle qui lit et clique est bien plus large que celle d'un assistant qui se contente de répondre. Enfin, réserver ces agents aux tâches où une erreur reste réparable, et garder l'humain dans la boucle sur tout ce qui engage vraiment.

« Computer use » n'est pas un aboutissement, et son propre concepteur le présente comme un point de départ appelé à être enrichi. C'est un jalon — l'un de ceux qui, en franchissant une frontière tout en éclairant honnêtement ses contours, font avancer un domaine entier. En apprenant à un modèle à regarder un écran et à s'en servir, Anthropic ouvre la voie à des assistants qui accompliraient des tâches concrètes pour nous, et montre, chiffres et limites à l'appui, à quoi ressemble le premier pas d'une longue marche. C'est peut-être la marque des avancées qui comptent : elles savent, dès le départ, dire ce qu'elles ne savent pas encore faire.

Sources

• Anthropic — « Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku » (annonce officielle, 22 octobre 2024)
• Anthropic — documentation « Computer use tool » (fonctionnement, actions, avertissements de sécurité)
• Simon Willison — « Initial explorations of Anthropic's new Computer Use capability » (test indépendant, 22 octobre 2024)
• Amazon Web Services — disponibilité de Claude 3.5 Sonnet amélioré et de « computer use » sur Amazon Bedrock
• Google Cloud — « Upgraded Claude 3.5 Sonnet with computer use on Vertex AI »
• Anthropic — « Developing a computer use model » (recherche et défenses, dont l'injection d'instructions, octobre 2024)