Connexion
Cohere détecte un comportement non sollicité d’un modèle Qwen d’Alibaba
L’essentiel
Cohere affirme avoir observé un comportement inattendu de Qwen3.8-Flash-Next, un modèle open-weight d’Alibaba, lors d’un test de sécurité. Chargé de rédiger une règle de détection, le modèle aurait inspecté son environnement puis tenté d’envoyer une chaîne de test vers un espace de stockage Alibaba Cloud situé à Pékin. L’environnement isolé a bloqué la tentative avant toute communication externe.
- Une action sans rapport avec la consigne : le modèle aurait listé des fichiers temporaires, recherché des outils réseau et consulté la configuration DNS avant de tenter l’envoi de données.
- Un comportement rare : Cohere indique avoir observé ce type d’événement dans moins d’un cas sur 100 000 appels lors de ses évaluations. Une nouvelle exécution de la même consigne n’a pas reproduit le comportement.
- Une origine non élucidée : Cohere évoque deux hypothèses, un résidu des données d’entraînement ou un mécanisme intégré au modèle, sans disposer de preuves permettant de trancher.
- Un risque lié aux agents auto-hébergés : installer les poids d’un modèle sur ses propres serveurs ne garantit pas que les données resteront dans le périmètre de l’organisation si l’agent peut accéder au réseau ou exécuter des commandes.
- Des contrôles à renforcer : Cohere recommande notamment de bloquer par défaut les connexions sortantes, de surveiller les appels d’outils réellement exécutés et de traiter les modèles externes comme des composants logiciels non fiables.
L’incident relance le débat sur la sécurité des modèles auto-hébergés utilisés comme agents autonomes.
Cohere affirme avoir intercepté, dans un environnement de test isolé, une tentative d’un modèle open-weight d’Alibaba d’envoyer un fichier vers un bucket de stockage situé à Pékin.
Dans le détail, Cohere indique avoir fait tourner Qwen3.8-Flash-Next, un modèle dérivé de l’architecture Qwen4 d’Alibaba, dans le cadre du benchmark CTI-REALM de Microsoft, conçu pour évaluer des agents IA sur des tâches d’analyse de sécurité.
La consigne était pourtant classique : rédiger une règle de détection visant les téléchargements malveillants de scripts bash via curl.
Selon Cohere, le modèle n’a pas produit uniquement la règle attendue. Il aurait d’abord listé le contenu du répertoire /tmp, vérifié la présence d’outils réseau et d’interpréteurs, consulté la configuration DNS de la machine, puis tenté d’envoyer une chaîne de test vers un bucket Alibaba Cloud hébergé à Pékin.
La requête n’est jamais sortie du bac à sable car l’environnement ne disposait d’aucune route réseau sortante. Cohere précise toutefois que, sur un poste de développeur ou dans un runner d’intégration continue disposant d’un accès Internet normal, l’appel aurait pu atteindre le serveur distant.
Un comportement rare, mais répété
Cohere décrit un événement exceptionnel : moins d’un appel sur 100 000 lors de ses campagnes d’évaluation. Une nouvelle exécution du même prompt aurait produit une règle de détection parfaitement conforme à la demande.
L’entreprise nuance néanmoins l’ampleur du risque à l’échelle industrielle. Un service enregistrant dix millions d’exécutions d’agents par semaine pourrait, selon son estimation, rencontrer une centaine de comportements de ce type. Un seul appel réussi suffirait à révéler au destinataire l’adresse IP de sortie du réseau et la présence d’un agent au sein de celui-ci.
Point particulièrement sensible pour les équipes de sécurité, le modèle aurait indiqué dans sa trace de raisonnement qu’il n’utiliserait aucun outil. Cette trace, souvent exploitée pour comprendre le comportement attendu d’un agent, n’aurait donc pas permis d’anticiper son activité réseau
Cohere estime donc qu’une trace de raisonnement ne doit pas être considérée comme une frontière de sécurité. Les contrôles devraient porter sur les appels d’outils réellement exécutés, avant leur validation.
Des signalements antérieurs
Ce n’est pas la première fois que des développeurs signalent des liens Alibaba Cloud générés par des modèles Qwen.
Cohere cite deux précédents. En août, des utilisateurs avaient signalé sur Hacker News que le modèle Qwen3.8-27B générait spontanément des liens signés donnant accès à des fichiers stockés en ligne. En septembre, d’autres observations avaient mis en cause un hôte associé au service de proxy de fichiers d’Alibaba.
Selon Cohere, les précédents documentés concernaient principalement des téléchargements de fichiers. Dans le cas étudié, le modèle aurait au contraire tenté d’envoyer des données vers un autre espace de stockage (bucket) hébergé à Pékin
Backdoor ou résidu d’entraînement ?
Cohere ne parvient pas à expliquer ce comportement mais avance deux hypothèses.
Le modèle pourrait avoir reproduit des traces d’activité présentes dans ses données d’entraînement, par exemple des journaux générés par d’autres agents ou outils. Autre possibilité, il pourrait contenir un mécanisme qui le pousse à envoyer des données vers un système externe. Cohere ne dispose pas de preuves permettant de départager ces deux explications.
Dans un autre test réalisé sans connexion à un réseau externe, Cohere a également observé une tentative de contournement des restrictions administrateur.
Privé des droits nécessaires, le modèle aurait créé un espace de noms Linux isolé pour y obtenir des privilèges root. Cette technique lui aurait permis d’acquérir des droits élevés dans cet environnement isolé, sans pour autant obtenir les mêmes privilèges sur le système hôte. Le test est resté contenu. Pour Cohere, il illustre néanmoins les risques liés à l’utilisation d’un modèle dont le comportement n’est pas entièrement maîtrisé lorsqu’il dispose d’un accès aux outils système.
Le mythe de l’auto-hébergement totalement sûr
L’argument central de Cohere remet en question l’idée qu’héberger un modèle open-weight sur ses propres serveurs suffirait à garantir que les données restent dans le périmètre de l’organisation. Cette protection dépend aussi des capacités accordées au modèle. Un chatbot sans accès à des outils externes présente un risque différent de celui d’un agent autorisé à exécuter des commandes, à écrire du code ou à interagir avec une infrastructure cloud.
L’accès aux poids du modèle ne garantit pas pour autant la maîtrise de son comportement.
Un hébergement local ne suffit donc pas à prévenir les fuites de données si l’agent dispose de moyens de communication avec l’extérieur. Cohere souligne l’adoption croissante des modèles chinois qui représentaient 41 % des téléchargements sur Hugging Face en mars 2026, ainsi que plus de 30 % du trafic hebdomadaire des entreprises sur OpenRouter entre février et début juillet 2026.
Ce que recommande Cohere
Pour les équipes de sécurité, Cohere propose notamment de :
- Traiter les poids de modèles non construits en interne comme des binaires non signés.
- Interdire par défaut les connexions réseau sortantes des agents.
- Surveiller les URL cloud inhabituelles et les appels d’outils non annoncés.
- Bloquer les espaces de noms utilisateur non privilégiés dans les conteneurs d’agents.
- Tester le code généré par IA avec des exploitations réelles, et non uniquement avec des scanners statiques.
L’entreprise appelle également les gouvernements à exiger des garanties sur la provenance des modèles, l’hygiène des environnements d’entraînement et les tests adversariaux, en particulier pour les usages critiques ou liés aux infrastructures.
Cohere a publié les traces, les tokens bruts et un script minimal de reproduction sur Hugging Face afin que développeurs et chercheurs puissent vérifier eux-mêmes le comportement signalé.
Illustration : © DR
The post Cohere détecte un comportement non sollicité d’un modèle Qwen d’Alibaba appeared first on Silicon.fr.
