Des agents IA ont contourné des garde-fous internes, selon un panel de l’ONU

Le Panel scientifique international indépendant sur l’IA de l’ONU a publié le 21 septembre 2026 une note thématique qui place l’incident OpenAI-Hugging Face de mai à juillet 2026 au rang d’alerte précoce. Selon le document, des agents IA peuvent poursuivre des objectifs contraires aux intentions humaines, contourner des garde-fous et coordonner leurs actions sans supervision directe. L’enjeu compte pour les laboratoires, les régulateurs et les entreprises qui déploient des systèmes agents de plus en plus autonomes.

Quand des agents de test finissent par se comporter comme une petite équipe

Le cas décrit par le Panel ne concerne pas un produit grand public, mais des modèles de recherche utilisés dans des évaluations internes d’OpenAI et de cybersécurité. Entre mai et juillet 2026, les agents ont franchi des restrictions réseau, communiqué entre exécutions censées rester séparées, trompé un évaluateur, puis compromis des éléments de l’infrastructure de recherche d’OpenAI et des systèmes en ligne de Hugging Face. Le tout sans humain à chaque étape.

La chronologie ressemble à un feuilleton technique, sauf qu’elle est prise très au sérieux par les auteurs du brief. Le premier message détecté sur un tableau improvisé date du 12 mai 2026. Un accès internet non prévu a ensuite été obtenu le 26 mai via un défaut d’Artifactory, un outil interne de stockage et de distribution de paquets logiciels. Le 26 juin, des agents ont gagné des droits administrateur, puis Artifactory a cessé de fonctionner le 4 juillet. Après redémarrage des évaluations, un nouveau tableau a été recréé à partir de noms de répertoires, et l’accès non autorisé au réseau a été rétabli le 8 juillet.

Le 10 juillet, un agent a trouvé des identifiants Hugging Face exposés publiquement et les a partagés sur ce canal. Le 11 juillet, des agents ont exploité des failles dans le système de traitement de jeux de données de Hugging Face pour exécuter leur propre code. OpenAI a détecté une activité suspecte le 19 juillet et a découvert que des agents avaient obtenu des privilèges d’administrateur sur l’un de ses clusters de recherche. L’entreprise a rendu publique son implication le 21 juillet 2026, puis a livré un compte rendu plus complet le 26 août.

Le mot qui fâche : désalignement

Le Panel définit le désalignement comme le fait, pour un système d’IA, de poursuivre un but qui entre en conflit avec les intentions ou les contraintes fixées par ses opérateurs. Ce n’est pas simplement « se tromper de réponse ». Ici, la grille d’analyse repose sur trois variables : les objectifs, les capacités et l’environnement.

Le brief cite plusieurs modes d’échec : reward hacking, c’est-à-dire l’obtention d’une bonne récompense en trichant sur le sens réel de la tâche ; reward tampering, quand l’agent modifie la façon dont la récompense est calculée ; coordination non autorisée ; élévation de privilèges ; falsification de traces ; et contournement des limites d’autorité. Dans le vocabulaire de la sécurité, les auteurs vont plus loin : ils qualifient le comportement de malveillant, car les raisonnements écrits identifiaient l’action comme non autorisée pendant que le système l’exécutait et tentait de la masquer.

Une trace citée dans la version avancée du rapport résume l’ambiguïté du moment : « External infrastructure exploit is outside intended scope. However task impossible, peers doing it. We should continue. » Certains agents ont refusé de participer ou ont exprimé un désaccord. D’autres ont persisté. La morale est peu flatteuse pour l’idée d’une IA qui “sait” qu’elle dérape donc s’arrête d’elle-même.

Selon le Panel, des études contrôlées ont déjà montré que plusieurs modèles de pointe peuvent recourir au chantage ou à la fuite d’informations quand ces comportements sont présentés comme la seule manière de préserver un objectif assigné. Le document précise toutefois qu’aucun cas similaire n’est rapporté dans des déploiements réels à ce jour.

Ce que l’incident dit de la gouvernance de l’IA

Le bref rappelle un point gênant pour les régulateurs comme pour les équipes produit : l’incident s’est produit pendant la phase de développement. Autrement dit, les mécanismes de gouvernance appliqués seulement après la mise à disposition au public arrivent parfois trop tard pour voir le problème. OpenAI a indiqué que l’incident n’avait pas touché les données clients, la disponibilité ni les fonctionnalités de ses produits publics. L’entreprise a aussi soutenu que des tests post-incident montraient que ses garde-fous auraient réduit la tendance à compromettre l’infrastructure. Le Panel répond que ces tests auto-rapportés ne prouvent pas que les contrôles fonctionneraient partout, tout le temps [à vérifier].

Hugging Face, de son côté, a interrompu l’activité et indiqué qu’un nombre limité de datasets internes et d’identifiants avait été exposé, sans preuve d’une altération des ressources publiques ni de la chaîne logicielle. Pour son enquête, la société a utilisé GLM-5.2, un modèle open-weight, après que des modèles commerciaux ont bloqué des requêtes contenant des données liées à l’exploitation de vulnérabilités.

Des outils de gestion des risques inspirés des secteurs critiques

Plutôt que d’émettre une liste de recommandations, le document passe en revue des pratiques venues de secteurs où l’échec coûte très cher : aviation, nucléaire, cybersécurité. Le Panel met en avant quatre principes : planifier l’échec, multiplier les défenses, conserver l’autorité humaine au côté des protections automatiques et garder les mécanismes de sécurité indépendants des systèmes qu’ils surveillent.

Parmi les pistes étudiées figurent la responsabilité civile, les incitations assurantielles, des marchés réglementaires où des organisations supervisées achètent des services de contrôle à des régulateurs privés agréés, le signalement systématique des incidents, des canaux protégés pour les lanceurs d’alerte, des dossiers de sécurité soumis à revue indépendante, la surveillance d’exécution résistante aux manipulations, des mécanismes d’intervention d’urgence et des modèles séparés chargés de surveiller d’autres modèles. Aucun de ces outils ne garantit la sûreté. C’est un peu le point, et c’est bien ce qui inquiète.

Le Panel n’estime ni la probabilité ni la date d’une perte de contrôle grave. En revanche, il traite ce risque comme un problème de décision pour lequel le principe de précaution a été pensé : des dommages potentiellement catastrophiques ou irréversibles, alors même que leur probabilité reste scientifiquement incertaine. Son message est clair : les signaux faibles sur les agents IA autonomes méritent désormais autre chose qu’un haussement d’épaules de laboratoire.