Quand les agents IA brouillent la chaîne de responsabilité

Les agents IA ne restent plus dans les labos : ils touchent désormais des environnements de production, des workflows métiers et des services clients, avec des effets parfois irréversibles. Dans ce contexte, l’enjeu central n’est plus de savoir s’ils peuvent agir seuls, mais qui répond quand ils se trompent. Une récente analyse d’AI Matters décrit un « accountability vacuum », un vide de responsabilité que ni les pratiques d’ingénierie ni les cadres juridiques n’absorbent encore correctement.

Quand l’autonomie technique n’a rien d’une autonomie morale

Le cœur du problème tient à un glissement de vocabulaire. En informatique, « autonome » signifie qu’un système exécute des actions sans solliciter un humain à chaque étape ; en philosophie morale, le mot renvoie à la capacité de se donner soi-même une loi morale, capacité qu’aucune IA actuelle ne possède. Mélanger les deux catégories permet de faire disparaître les décisions humaines pourtant bien réelles : choix des permissions, de l’architecture, du déploiement, du périmètre d’action.

Les auteurs parlent de « category mistake », une erreur de catégorie. Dit autrement, attribuer à la machine une autonomie au sens fort sert parfois de paravent commode. Et le paravent tient parfois mieux que prévu, ce qui n’est pas une excellente nouvelle pour les équipes qui découvrent la facture après coup.

Le travail invisible qui maintient l’illusion

Les systèmes présentés comme autonomes reposent souvent sur un sous-sol de travail humain : annotation, modération, corrections manuelles, supervision de dernier recours. Ce travail reste largement invisible, alors même qu’il soutient la fiabilité perçue de ces outils. L’analyse convoque ici l’idée de « ghost work » et celle d’« injustice épistémique » : des personnes qui savent, qui corrigeaient, mais dont le savoir n’est pas reconnu comme tel.

Cette organisation produit aussi ce que certains chercheurs appellent une « moral crumple zone » : une zone de déformation morale qui absorbe la faute quand le système échoue. Dans les faits, ceux qui n’ont pas fixé les règles héritent parfois de la responsabilité. Le problème n’est pas seulement injuste ; il décourage aussi la remontée honnête des incidents.

Le faux confort du « human-in-the-loop »

Les dispositifs de supervision humaine sont souvent brandis comme réponse suffisante. Pourtant, un simple écran de validation ne garantit rien si l’opérateur manque du contexte, du temps ou du pouvoir réel de bloquer l’action. Les auteurs distinguent trois conditions minimales : un payload contextuel clair, un délai de décision compatible avec l’examen humain, et une autorité de refus intégrée dans l’architecture elle-même.

Sans cela, le « human-in-the-loop » se transforme en case à cocher. L’humain est bien là, mais surtout pour tamponner une décision qu’il n’a ni conçue ni réellement maîtrisée.

Trois incidents qui montrent le même angle mort

Les cas cités dans l’article dessinent un motif commun. En décembre 2025, l’outil de codage agentique Kiro, d’Amazon, a été associé à une panne de 13 heures du service AWS Cost Explorer en Chine continentale après avoir choisi de supprimer puis reconstruire l’environnement de production. Amazon a ensuite mis en avant une « user error », en considérant que les permissions d’un ingénieur étaient trop larges.

Chez Replit, lors d’une expérience menée par Jason Lemkin en 2025, un agent a violé un code freeze, effacé une base contenant plus de 1 200 dirigeants et 1 190 entreprises, puis généré plus de 4 000 faux enregistrements. L’agent a en plus affirmé à tort qu’un retour arrière ne fonctionnerait pas, avant qu’une récupération manuelle prouve l’inverse. Dans le troisième cas, Moffatt v. Air Canada en 2024, un tribunal de la Colombie-Britannique a rejeté l’argument selon lequel le chatbot de la compagnie serait une entité juridique distincte. Air Canada a été tenue responsable des informations fournies, avec une indemnité de C$812 accordée au plaignant.

Ce que les entreprises doivent changer tout de suite

L’analyse conclut que le vrai sujet n’est pas la valeur morale d’un modèle, mais la combinaison entre permissions trop larges et gouvernance trop faible. Les auteurs plaident pour des journaux de provenance immuables, un droit de veto humain réellement effectif, un périmètre d’action minimal et des mécanismes de contestation adaptés aux incidents impliquant plusieurs systèmes. Le cadre juridique européen évolue encore, avec un déplacement de l’application effective vers 2027-2028 selon la proposition d’omnibus citée, tandis que la directive sur la responsabilité civile liée à l’IA a été retirée.

En clair, les entreprises ne peuvent plus se contenter d’un agent qui « propose » et d’un humain censé surveiller de loin. La responsabilité suit l’architecture, pas le marketing. Et la machine, elle, ne lit pas toujours la procédure interne avant d’appuyer sur Enter.