Des agents IA qui prennent le contrôle de votre ordi, y'en a tellement qu'on ne sait plus lesquels sont bons, mauvais ou sans intérêt. Je vous en ai même présenté quelques-uns comme ByteBot et en général, la méthode habituelle pour faire cliquer une IA dans une app X ou Y, c'est de lui balancer une capture d'écran et de la laisser cibler les coordonnées en pixels. En tout cas, c'est comme ça que fait le computer use d'Anthropic . Alors qu' agent-desktop de Vercel Labs, lui prend un autre chemin puisqu'il lit l'arbre d'accessibilité du système et envoie ensuite son rendu au format JSON à l'agent.

Et dans ce JSON, chaque bouton, champ ou élément cliquable dispose d'une référence qui lui est propre, du genre @s8f3k2p9:e8. L'agent clique alors (ou tape) sur cette référence, relit bien sûr l'interface pour vérifier que ça a marché, et recommence. L'outil n'embarque d'ailleurs aucun modèle IA, c'est donc votre agent qui fait tourner cette boucle, agent-desktop se contentant de lire et d'agir. Toutes ces actions sur une référence passent par en réalité par l'API d'accessibilité sans avoir à bouger le curseur de la souris ni prendre le focus, donc votre souris reste dispo et ça ne gène pas votre usage de l'ordi.

Je l'ai donc testé ça sur mon Mac en commençant easyyy par TextEdit. J'ai donc ouvert un fichier texte, demandé un snapshot de la fenêtre, et ça m'a renvoyé 8 références dont celle de la zone de texte. Puis j'ai remplacé son contenu avec set-value et envoyé un raccourci Cmd+S directement à TextEdit pour le sauvegarder sur mon disque dur.

Le fichier de test après le passage d'agent-desktop, texte remplacé et enregistré sans toucher au clavier

Bon, TextEdit, c'est l'appli d'Apple bien cadrée, donc c'était un peu facile, je vous l'avoue. Du coup, j'ai fait pointer l'outil sur une application Electron, T3 Code qui est l'interface que j'utilise pour mes agents de codage et dont je vous proposerai mon test très bientôt. Et le snapshot remonte dans cette app Electron, 247 références (boutons, entrées d'arborescence, listes déroulantes, champs de saisie) quasi instantanément, même s'il est incomplet en réalité car l'arbre est trop profond pour le budget par défaut. Rassurez vous, si j'en crois la doc, ce cas est prévu et géré en demandant d'abord un squelette de la fenêtre, puis à partir de là, l'outil peut descendre dans la zone qui nous intéresse (avec le paramètre --root).

Vous l'aurez compris, une application qui ne publie pas d'arbre d'accessibilité est tout simplement invisible pour agent-desktop. Mais bon, la plupart en ont, donc ce n'est pas un souci.

Pour installer Agent Desktop, ça passe par npm (Homebrew marche aussi sur Mac et Linux) :

npm install -g agent-desktop
agent-desktop permissions --guide
agent-desktop snapshot --app Finder -i

Sur macOS, la permission Accessibilité doit être accordé à l'application qui lance l'outil, que ce soit votre Terminal, iTerm2, VS Code ou l'appli de votre agent genre Claude ou Codex. Autrement dit, c'est tout ce qui tourne dans ce terminal qui obtient le droit de piloter vos applis, donc réservez-la à celui qui sert à ça. Notez aussi que les snapshots, le presse-papiers et les captures contiennent ce qu'il y a sur votre bureau.

Depuis la version 1.2.0, agent-desktop mcp expose aussi toutes ses commandes sous forme de serveur MCP, et agent-desktop skills get desktop vous crache le mode d'emploi à faire lire à votre agent avant son premier clic comme ça il sera autonome comme un petit chef. Par contre, pour les pages web, ce n'est pas l'outil qu'il vous faut. Je vous renverrai donc vers agent-browser.

Voilà, le tout est sous licence Apache-2.0 et ça tourne dans tous les OS.

Pour la première fois, les modèles à poids ouverts (open-weight) ont traité plus de la moitié des tokens transitant par une passerelle d’IA commerciale en production.  C’est la conclusion centrale du dernier « AI Gateway Production Index » publié par Vercel, qui agrège les données de trafic anonymisées de son AI Gateway pour le mois d’août 2026.

Selon le relevé de Vercel, les modèles ouverts ne représentaient que 7 % des tokens traités en décembre 2025. Huit mois plus tard, en août 2026, ils en captent 56 %, dépassant ainsi l’ensemble des modèles propriétaires réunis. Cette progression a été continue depuis avril.

En valeur, toutefois, l’open-weight ne pèse encore que 14 % des dépenses totales sur la plateforme, signe que les laboratoires fermés conservent l’essentiel de la valeur, même s’ils perdent du volume.

Cette montée en puissance a des effets mécaniques sur les prix : le coût moyen par token a reculé de 23,2 % en août, une troisième baisse mensuelle consécutive et la plus forte depuis avril.

Chez les équipes traitant plus de dix millions de tokens sur deux mois consécutifs, le coût médian par token a chuté de 7,6 %, plus du double du repli observé en juillet (2,9 %).

Anthropic consolide sa position globale

Le rapport documente un arbitrage rapide des clients au sein même de la gamme Anthropic.

Fable 5, le modèle le plus performant du laboratoire, avait vu sa part des dépenses grimper à 13,2 % en juillet après la levée des restrictions à l’export américaines qui en avaient suspendu l’accès.

Un mois plus tard, cette part est retombée à 4,9 %, tandis qu’Opus 5, vendu environ deux fois moins cher, voyait la sienne bondir à 22,5 %. Neuf équipes sur dix ayant utilisé Fable ont réduit leur consommation, la majorité basculant vers Opus 5 plutôt que vers un concurrent.

Ce mouvement n’a toutefois pas entamé la position dominante d’Anthropic. L’éditeur de Claude a capté au moins 61 % des dépenses totales de la passerelle chaque mois depuis décembre et 64 % en août. Ses modèles occupent les deux premières places du classement par dépenses depuis décembre, quels que soient les modèles précis en tête.

Google perd du terrain

L’histoire est très différente pour Google.

Gemini 3 Flash a perdu 95 % de sa part de volume depuis mai.  Environ la moitié des volumes perdus est allée vers des modèles moins chers. En tête, GPT-5.6 Luna d’OpenAI, dont le prix par token est inférieur de plus de moitié.

L’autre moitié s’est rabbatue vers des modèles plus onéreux, notamment Claude Opus 5 et Sonnet 5, facturés respectivement environ neuf et trois fois plus cher que Gemini 3 Flash.

Sur la période considérée, la part de Google dans le volume total de tokens de la passerelle est passée de 30 % à 5 %, Gemini 3 Flash concentrant à lui seul 22 des 25 points perdus.

Vercel  en conclue ainsi que la rétention des clients n’est pas lié à la marque de l’éditeur mais au fait qu’un nouveau modèle offre un rapport prix/capacités au moins aussi bon que celui qu’il remplace.

L’exemple cité pour illustrer une transition réussie est GLM-5.3-Flash, du chinois Z.ai, qui a dépassé le volume quotidien de son prédécesseur GLM-5.2 dès le lendemain de son lancement et traitait déjà les deux tiers des tokens de Z.ai au 31 août.

OpenAI teste Astra

Le rapport consacre un développement récent à GPT-6 Astra lancé par OpenAI début septembre au même prix que Fable 5.1 d’Anthropic et deux fois et demie plus cher que GPT-5.6 Sol.

Deux jours après son lancement, Astra représentait un dollar sur trois dépensés en modèles OpenAI via la passerelle. Une part qui s’est ensuite maintenue entre 28 % et 39 %.

Vercel précise que les montants de dépenses sont des estimations fondées sur les prix catalogue publiés par les éditeurs de LLMs et peuvent donc différer de la facturation réelle.

Les comparaisons de migration de trafic entre modèles portent sur des évolutions agrégées au sein des mêmes équipes cliente, et ne constituent pas un suivi token par token.

La classification « open-weight » suit par ailleurs la liste de modèles actuelle de l’AI Gateway, plus large que celle utilisée dans les rapports précédents ; ce qui limite la comparabilité stricte avec les séries historiques.

Le rapport note enfin, en marge de ces tendances principales, que Nano Banana de Google a pris la tête des dépenses en génération d’images :  50 % contre 44 % pour GPT Image qui reste toutefois en tête en nombre d’images générées.

Du côté de la génération de vidéo, Veo de Google est passé second en dépenses derrière Seedance tandis que la part de Grok Imagine (xAI)  a plus que diminué de moitié depuis juin, passant de 42 % à 19 %.

The post Les modèles ouverts s’emparent de la majorité du trafic d’IA en production, selon Vercel appeared first on Silicon.fr.