AWS unifie l’évaluation des agents IA avec un cadre open source

AWS a publié UAEF, un cadre open source pour comparer des agents IA sur une base commune. L’outil vise LangGraph, LangChain, Strands Agents et Bedrock AgentCore, avec 36 métriques et des comparaisons reproductibles.

AWS a publié le 11 novembre 2026 une présentation technique de Universal Agent Evaluation Framework, ou UAEF, un système open source sous licence Apache-2.0 conçu pour évaluer des agents IA avec 36 métriques réparties sur sept dimensions. L’enjeu est simple à formuler : comparer proprement des agents construits sur des frameworks différents, sans casser les scores à chaque changement d’architecture, de prompt ou d’outil. Dans ce contexte, l’évaluation cesse d’être un bricolage local pour devenir un point de contrôle plus stable.

Un socle commun pour des agents qui ne parlent pas le même langage

UAEF vise LangGraph, LangChain, Strands Agents et Amazon Bedrock AgentCore, des environnements qui enregistrent différemment les messages, les appels d’outils et les transferts entre agents. Sans normalisation, un changement de framework oblige souvent à réécrire la logique d’évaluation, les métriques et parfois même le stockage des résultats. AWS avance que 12 organisations, dans les télécoms, la santé et les services financiers, ont utilisé UAEF pour appliquer des métriques cohérentes et comparer plusieurs versions d’agents avant mise en production.

Le cœur du système repose sur un trace canonique, nommé AgentTrace, vers lequel les adaptateurs convertissent chaque exécution. Cette trace unique devient la base de calcul pour le moteur d’évaluation. Le cadre peut aussi réutiliser une trace issue d’un ancien run, d’un journal ou d’un outil d’observabilité, ou encore lancer un agent via un Amazon Resource Name ou un endpoint HTTP. Pour les frameworks maison, un adaptateur JSON générique prend le relais. Pratique, surtout quand personne n’a envie de refaire la plomberie à chaque nouvelle plateforme.

36 métriques, mais pas 36 façons de raconter la même histoire

Le catalogue de métriques couvre la qualité de réponse, l’appel d’outils, la sécurité et l’IA responsable, la performance, les conversations multi-tours, la coordination multi-agents et le raisonnement. Les scores sont normalisés sur une échelle de 0 à 1, avec 1 comme meilleure valeur. Certaines mesures sont déterministes et se calculent directement à partir des traces et de la vérité terrain ; d’autres utilisent un modèle juge sur Amazon Bedrock pour noter la pertinence ou la sécurité.

Les réponses attendues ne sont pas obligatoires dans tous les cas. En revanche, les métriques fondées sur une comparaison de référence en ont besoin. Pour l’évaluation de l’appel d’outils, UAEF peut aussi définir les outils attendus, leur ordre et leurs arguments. Si une métrique manque d’informations, elle renvoie un score vide avec un avertissement, puis ce résultat est exclu des moyennes de dimension au lieu d’être compté comme zéro. Cela permet d’évaluer des jeux de données partiellement annotés, voire du trafic de production sans étiquette complète, dès lors que les entrées disponibles suffisent.

Des comparaisons pensées pour repérer les régressions

Une fois persistées, les évaluations deviennent des experiments. Amazon DynamoDB stocke les métadonnées utiles à la liste et à la comparaison, notamment le nombre d’évaluations et les scores moyens, tandis qu’Amazon S3 conserve les résultats JSON détaillés, avec les scores par métrique et le raisonnement du juge. Chaque exécution peut enregistrer le framework, le modèle, les outils, le prompt système, les paramètres, un instantané de configuration et le commit Git associé. La chaîne de décision reste ainsi rattachée au code réellement testé.

Pour les métriques partagées entre deux runs, le moteur calcule les variations absolues et relatives par rapport à une base de référence. Par défaut, un seuil configurable de 5 % sépare les améliorations, les régressions et les scores inchangés. Les régressions sont en plus classées en mineures, modérées ou sévères, puis regroupées par dimension. Une modification du prompt peut donc dégrader l’usage des outils sans toucher à la qualité de réponse. C’est le genre de détail que l’on préfère voir avant la mise en production plutôt qu’après.

Une architecture faite pour les équipes, pas seulement pour les notebooks

AWS insiste sur la séparation entre les statistiques reproductibles et l’interprétation générée par modèle. L’interface web affiche les résultats par cas de test et par dimension. Un rapport statistique optionnel ajoute des distributions de scores, des intervalles de confiance, des valeurs aberrantes, des corrélations entre métriques et les cas en échec, sans recourir à un LLM. À part, une analyse produite par Bedrock peut proposer des causes probables et des prochaines étapes prioritaires pour un run ou une comparaison.

La bibliothèque Python et le service web à faible code s’appuient sur le même moteur et les mêmes stockages. Les équipes peuvent donc travailler dans des notebooks, des scripts, des pipelines CI/CD ou directement dans un navigateur sans changer la logique de mesure. La documentation indique toutefois que l’installation requiert Python 3.10 ou plus et le gestionnaire de paquets uv. Et pour le jugement par Bedrock ou la persistance dans DynamoDB et S3, des identifiants AWS restent nécessaires.

Sécurité, isolation et limite du cadre

UAEF traite la sortie de l’agent évalué comme une entrée non fiable pour les prompts de jugement. Le système sépare donc le barème, échappe le contenu, analyse strictement les réponses du juge et exige un extrait de preuve conforme avant d’accepter un score. AWS précise aussi que les scores du juge ne doivent pas piloter les contrôles de sécurité. L’exécution des garde-fous doit passer par une voie séparée via Amazon Bedrock Guardrails.

Le dépôt présente UAEF comme une architecture de référence pensée pour fonctionner dans une plateforme qui fournit déjà l’isolation entre utilisateurs et entre locataires. Le déploiement multi-tenant direct n’est pas pris en charge sans cet encadrement. Chaque locataire doit disposer d’un déploiement séparé, avec son propre compte AWS ou, au minimum, sa pile, ses tables DynamoDB, ses buckets S3 et son pool d’utilisateurs Cognito. Autrement dit, le cadre standardise l’évaluation, pas l’organisation interne de l’entreprise [à vérifier].

Pour les entreprises qui font cohabiter plusieurs frameworks d’agents, UAEF apporte un socle de mesure plus stable face aux changements de prompts, de modèles, d’outils ou d’implémentation. Mais la continuité ne vient pas seulement de la bibliothèque : elle dépend aussi du choix des métriques, de la qualité des jeux de données et de l’isolation appliquée autour du système. Le cadre promet une comparaison plus propre ; le reste, comme souvent en IA, relève du travail d’intégration.

Points clés

  • UAEF compte 36 métriques sur sept dimensions.
  • 12 organisations pilotes ont utilisé le cadre, selon AWS.
  • Le seuil par défaut des régressions est fixé à 5 %.
  • Le dépôt cible LangGraph, LangChain, Strands Agents et Bedrock AgentCore.
  • Le cadre est publié sous licence Apache-2.0.

En chiffres

  • 36 métriques — cataloguées par AWS dans UAEF, novembre 2026.
  • 7 dimensions — tool calling, qualité, sécurité, performance, multi-turn, multi-agent, raisonnement.
  • 12 organisations — pilotes cités par AWS, dans les télécoms, la santé et la finance.
  • 5 % — seuil par défaut pour distinguer amélioration et régression.
  • Python 3.10+ — prérequis d’installation mentionné dans la documentation.

À lire