L’annonce qui fait fantasmer (et flipper)
Quand Anthropic a annoncé que Claude pouvait désormais « utiliser votre ordinateur », les réactions ont été immédiates : soit l’émerveillement total (« on tient le futur ! »), soit la panique dystopique (« Skynet arrive »). Après une semaine de tests intensifs avec cette fonctionnalité baptisée « Computer Use », je peux vous dire une chose : la réalité est infiniment plus banale que les deux extrêmes.
Cette fonction permet théoriquement à Claude de voir votre écran, déplacer votre souris, cliquer sur des éléments, taper du texte et naviguer dans vos applications comme le ferait un humain. Sur le papier, c’est révolutionnaire. Dans la pratique quotidienne, c’est surtout… lent, approximatif, et étrangement frustrant.
Ce que j’ai vraiment testé
Pendant une semaine, j’ai soumis Claude à des tâches variées que je délègue habituellement ou qui me font perdre du temps :
Tâche 1 : Extraire des données d’un tableau Excel et les reformater dans Google Sheets
Résultat : Claude a mis 3 minutes à identifier les bonnes cellules, s’est trompé de colonne deux fois, et a finalement abandonné quand j’ai changé d’onglet par inadvertance. J’ai terminé la tâche moi-même en 45 secondes.
Tâche 2 : Remplir un formulaire web répétitif avec des informations standardisées
Résultat : Plutôt convaincant sur des formulaires simples (nom, email, adresse). Complètement perdu sur des menus déroulants imbriqués ou des boutons radio mal étiquetés. Taux de réussite : 60%.
Tâche 3 : Faire une recherche multi-onglets et compiler les infos dans un document
Résultat : Catastrophique. Claude perd le fil dès qu’il y a plus de 3 onglets ouverts, confond les informations entre les pages, et a une fâcheuse tendance à cliquer sur des publicités qu’il prend pour du contenu.
Tâche 4 : Automatiser une série d’actions dans Figma
Résultat : Impossible. L’interface de Figma est trop complexe, les clics ne répondent pas comme attendu, et Claude n’a aucune notion de l’organisation spatiale d’un design.
Pourquoi ça coince (techniquement)
La limitation fondamentale n’est pas l’intelligence de Claude, c’est la méthodologie. Computer Use fonctionne par capture d’écran : Claude « voit » votre interface comme une image, identifie où cliquer via reconnaissance visuelle, puis envoie des commandes de souris/clavier.
Le problème ? Cette approche est fragile par nature :
- Latence inévitable : Entre chaque action, Claude doit capturer l’écran, l’analyser, décider, puis exécuter. Même sur une connexion rapide, ça ajoute 2-3 secondes par clic.
- Absence de contexte DOM : Contrairement à un script d’automatisation classique (Selenium, Puppeteer), Claude ne « comprend » pas la structure sous-jacente d’une page web. Il devine où cliquer comme le ferait un humain myope.
- Pas de gestion d’erreur robuste : Si un élément se déplace de 10 pixels ou change d’apparence, Claude est perdu. Il n’a pas de « plan B ».
Les rares cas où ça marche vraiment
Malgré ces limitations, j’ai identifié quelques scénarios où Computer Use apporte une vraie valeur :
1. Tâches exploratoires sur des interfaces inconnues
Si vous devez naviguer dans un logiciel que vous ne connaissez pas (un back-office client, un outil legacy d’entreprise), Claude peut servir de « scout ». Vous lui demandez de chercher une information spécifique, et il explore l’interface à votre place.
Exemple concret : « Trouve-moi où sont stockées les factures de mars dans cet ERP. » Claude a cliqué sur 12 menus différents avant de localiser l’information. Ça m’a pris 4 minutes au lieu de 15.
2. Documentation d’actions répétitives
Plutôt que d’utiliser Computer Use pour automatiser, utilisez-le pour documenter. Demandez à Claude d’effectuer une tâche tout en décrivant chaque étape. Vous obtenez une procédure détaillée que vous pouvez ensuite automatiser proprement avec de vrais outils.
3. Tests rapides d’interface utilisateur
Si vous développez une application web, Computer Use peut simuler un utilisateur lambda qui essaie de réaliser une action. Claude va butter sur les mêmes obstacles qu’un vrai utilisateur : boutons mal placés, labels ambigus, workflows illogiques.
C’est comme un test utilisateur low-cost, mais sans l’empathie humaine (ce qui est à la fois une limite et un avantage).
Ce que ça révèle sur l’état de l’IA
Cette fonctionnalité illustre parfaitement où nous en sommes avec l’IA en 2025 : nous avons des modèles incroyablement intelligents bridés par des interfaces inadaptées.
Clauде est capable de raisonnement complexe, de compréhension contextuelle fine, d’adaptation… mais on le force à interagir avec nos outils comme un robot des années 90 : en simulant des clics de souris.
C’est absurde.
La vraie révolution ne viendra pas quand les IA sauront mieux contrôler nos interfaces actuelles. Elle viendra quand les logiciels exposeront des APIs pensées pour l’IA, où Claude pourra dire : « Crée-moi un document avec ces paramètres » plutôt que « Clique sur Fichier, puis Nouveau, puis… ».
Mon verdict après une semaine
Pour qui c’est utile aujourd’hui :
- Les développeurs qui veulent prototyper des automatisations sans coder
- Les QA testers qui cherchent à identifier des problèmes d’UX
- Les curieux qui veulent comprendre comment une IA « voit » une interface
Pour qui c’est une perte de temps :
- Toute personne cherchant à automatiser des tâches répétitives (prenez Zapier, Make, ou même un simple script Python)
- Les utilisateurs non techniques qui espèrent un « assistant miracle »
- Quiconque travaille avec des outils complexes (design, montage vidéo, CAO)
Ce qu’il faut surveiller
Ce qui m’intéresse, ce n’est pas Computer Use dans sa forme actuelle. C’est ce que ça préfigure :
- L’émergence d’interfaces « IA-first » : Des logiciels conçus dès le départ pour être pilotés par IA plutôt que par humains.
- La fin des APIs traditionnelles : Pourquoi maintenir une API REST quand une IA peut interpréter du langage naturel ?
- L’automatisation accessible : Quand (si) ça marche vraiment, n’importe qui pourra automatiser son travail sans coder.
Mais nous n’y sommes pas encore. Computer Use est une beta publique d’une technologie qui a besoin de 2-3 ans de maturation supplémentaire.
Comment tester vous-même (si vous y tenez)
Si vous voulez expérimenter malgré mes réserves :
- Créez un environnement sandbox : Utilisez une machine virtuelle ou un compte utilisateur dédié. Ne donnez jamais à Claude l’accès à votre environnement de production.
- Commencez ridiculement simple : « Ouvre Chrome et va sur Google. » Puis complexifiez progressivement.
- Filmez les sessions : Vous comprendrez mieux où Claude se trompe en revoyant ses actions au ralenti.
- Limitez les tâches sensibles : Pas de transactions financières, pas de modification de données critiques.
La documentation officielle d’Anthropic propose un SDK Python pour intégrer Computer Use. Mais honnêtement, si vous savez coder en Python, vous avez déjà des outils bien plus performants pour automatiser.
En attendant la vraie révolution
Computer Use n’est pas la fonctionnalité qui va transformer votre quotidien demain matin. C’est un prototype public fascinant d’un point de vue technique, mais frustrant d’un point de vue pratique.
Ce qui me passionne, c’est qu’Anthropic ait choisi de le rendre public malgré ses imperfections. Ça montre une volonté de faire progresser la technologie par l’usage réel plutôt que par des démos léchées en conditions contrôlées.
En attendant que ça mûrisse, continuez à utiliser Claude pour ce qu’il fait vraiment bien : analyser, rédiger, réfléchir, déboguer. Et laissez Zapier s’occuper de vos automatisations.
Vous avez testé Computer Use ? Partagez votre expérience en commentaire. Et si vous cherchez des usages vraiment productifs de Claude (sans passer par le contrôle d’écran), abonnez-vous à la newsletter : je partage chaque semaine des prompts et workflows qui fonctionnent vraiment.
