Des benchmarks plus durs pour tester les agents IA scientifiques

Deux annonces venues de la recherche IA mettent la barre plus haut pour l’évaluation des modèles. D’un côté, Terminal-Bench-Science 0.1 mesure des agents sur 70 workflows scientifiques réels, conçus avec des chercheurs et répartis entre cinq disciplines. De l’autre, Google dit piloter la première évaluation « double aveugle » d’un modèle propriétaire, avec un environnement cryptographiquement sécurisé pour éviter que les questions de test ne circulent avant l’heure. Le sujet compte pour une raison simple : sans tests fiables, les scores brillants finissent par ressembler à des copies bien apprises.

Tester l’IA sur la vraie recherche, pas sur des exercices propres sur eux

Terminal-Bench-Science a été pensé par des chercheurs de Stanford et du réseau Harbor comme un prolongement de Terminal-Bench, déjà utilisé pour les agents de génie logiciel. Cette fois, l’objectif est de juger des capacités utiles à la science : analyse de données, simulation, optimisation, démonstration de théorèmes, reconstruction d’image ou encore calibration de capteurs. Les concepteurs veulent des agents capables d’exécuter des tâches longues et techniques, pour laisser aux scientifiques ce qui ne se délègue pas si facilement : formuler une hypothèse, interpréter un résultat, vérifier une conclusion.

Le benchmark se veut continu, donc mis à jour au fil des progrès des modèles. Sa première version, Terminal-Bench-Science 0.1, réunit 70 tâches couvrant les sciences du vivant, physiques, de la Terre, mathématiques et d’ingénierie. Les tâches sont proposées par des chercheurs via GitHub, discutées sur Discord, puis filtrées par plusieurs niveaux de revue avant d’entrer dans la base. Sur 920 propositions, 464 ont été acceptées pour implémentation, 386 demandes d’intégration ont été ouvertes, et seulement 70 ont finalement été retenues. La sélectivité dit beaucoup de la difficulté à fabriquer des exercices à la fois réalistes, vérifiables et assez durs pour les modèles de pointe.

70 tâches, 376 contributeurs et un plafond encore bas

Les premiers résultats montrent que les agents ont encore de la marge. Claude Opus 5 atteint le meilleur taux de résolution, à 30,0 %, devant GPT-5.6 Sol à 22,4 % et Claude Fable 5 à 21,4 %. Claude Opus 4.8 tombe à 10,5 %, tandis que plusieurs modèles passent sous les 10 %. GLM 5.3 est présenté comme le meilleur modèle ouvert, à 8,1 %, et GPT-5.6 Luna ferme la marche à 3,3 %. Chaque système a été testé trois fois par tâche, sur l’ensemble des 70 exercices, pour limiter les effets de hasard.

Le benchmark ne regarde pas seulement le score brut. Il compare aussi le coût total d’évaluation et l’usage de jetons, ce qui donne une lecture plus concrète de la frontière entre performance et facture. Claude Opus 5 atteint 30 % de résolution pour un coût total de 7,0 k$, quand GPT-5.6 Sol affiche 22,4 % à 4,2 k$, soit moins d’un tiers du coût de Claude Fable 5 à performance comparable. Côté jetons, Claude Fable 5 consomme environ 6,4 milliards de jetons contre 8,4 milliards pour GPT-5.6 Sol. Résultat : seuls Kimi K3 et Claude Opus 5 apparaissent sur les deux frontières de Pareto. Les maths, elles, gardent leur réputation d’aimant à sueur froide.

Pourquoi la contamination des benchmarks devient un sujet industriel

Chez Google, l’enjeu est différent mais lié : comment évaluer un modèle propriétaire sans que le fournisseur voie les prompts de test, ni l’évaluateur les poids du modèle ? La réponse avancée repose sur Confidential Space, dans Google Cloud, et sur une évaluation décrite comme la première « double-blind AI evaluation » d’un modèle de classe frontier. Le test porte sur Gemini Flash Lite, avec le Singapore AI Safety Institute, OpenMined, AVERI et MLCommons. L’idée est de garder les données d’évaluation et le modèle chacun dans leur boîte cryptographique, afin de réduire le risque de benchmark contamination.

Cette contamination survient quand un modèle a déjà vu tout ou partie des questions d’examen avant l’épreuve. Dans ce cas, le score perd de sa valeur. Pour les usages sensibles — cybersécurité, administrations, grands comptes — le problème n’est pas théorique. Des évaluations plus sûres deviennent un sujet de gouvernance, pas seulement de performance. Et c’est là que les méthodes de test comptent presque autant que les modèles eux-mêmes, ce qui n’arrive pas si souvent dans la vie des benchmarks.

Un marché qui se déplace vers des preuves vérifiables

Mis ensemble, ces deux projets racontent une même bascule. Les laboratoires et les plateformes ne veulent plus seulement publier des scores ; ils cherchent des protocoles capables de prouver ce qu’un agent sait faire, dans des conditions proches du réel et avec des règles de plus en plus strictes. Terminal-Bench-Science insiste sur des artefacts vérifiables — analyses, simulations, preuves, code, produits de données — tandis que Google mise sur la confidentialité technique pour sécuriser les évaluations externes. Dans les deux cas, le message est clair : la prochaine bataille de l’IA ne se joue pas uniquement sur les modèles, mais sur la qualité des tests qui les jugent.

Terminal-Bench-Science prévoit déjà une version 0.2, avec une échéance de soumission des pull requests fixée au 5 octobre 2026. Le benchmark doit encore élargir ses domaines, retirer les tâches devenues trop faciles et intégrer de nouveaux workflows proposés par des chercheurs. De son côté, Google présente son pilote comme une étape vers des évaluations plus robustes pour le secteur. Les deux chantiers convergent vers la même exigence : savoir si un agent aide vraiment la recherche, ou s’il se contente de bien réciter le manuel.