GDPx mesure les agents IA sur des tâches professionnelles réalistes

SemiAnalysis a publié le 2 novembre 2026 GDPx, un benchmark conçu pour évaluer des agents IA sur 11 domaines professionnels, du chip design au logiciel en passant par la finance et le droit. Ce premier classement place Claude Opus 5.5 d’Anthropic en tête avec 12,0 %, devant Gemini 4 Carbon de Google et GPT-6 Astra d’OpenAI. Le message est assez clair : les modèles savent faire mieux qu’avant, mais pas encore au point de distribuer les diplômes de consultant sans surveillance. Le sujet compte, car ce test cherche à mesurer des capacités de travail réelles, pas seulement la réponse bien tournée en laboratoire.

Un benchmark pensé pour des tâches qui ressemblent au travail réel

GDPx rassemble 206 tâches construites avec 14 partenaires de données spécialisés, et la grille de lecture initiale aligne 13 modèles. SemiAnalysis présente ce benchmark comme un test « frontier-level » précisément parce que les meilleurs scores restent faibles. Le classement agrège le pass@1 de chaque modèle sur trois tentatives, pondère les 11 domaines à parts égales et applique la méthode de notation prévue pour chaque tâche, binaire ou continue.

Les auteurs disent avoir volontairement écarté des secteurs comme le gouvernement, l’immobilier ou l’assurance. Leur thèse est simple : les premiers grands revenus de l’IA se concentreront dans les métiers où l’intelligence de pointe peut générer un retour sur investissement élevé, pas dans une moyenne molle de l’ensemble de l’économie.

Des partenaires métiers et un environnement plus contraignant

Chaque domaine a été construit avec des partenaires dédiés : Aria, Arcverex et Ergodex pour le chip design ; Arithmetic pour la cybersécurité ; Latch Bio pour la biologie ; Living Context pour la finance ; Chakra pour le juridique ; Third Moment pour le quant trading ; Extrapolate pour le RSI ; Beautiful Machines pour le hardware ; ValenceForge et Emulated pour les matériaux ; Fleet pour l’alignement ; Datacurve pour le logiciel. Autrement dit, le benchmark ne se contente pas d’un prompt bien rangé et d’un contexte servi sur un plateau.

Chaque tâche dispose d’une limite par défaut de huit heures. Quand c’est possible, les modèles tournent dans leur environnement natif : Claude Code pour Opus 5.5, Codex pour GPT-6 Astra et Antigravity pour Gemini 4 Carbon, avec OpenCode en solution de repli. SemiAnalysis explique aussi avoir imposé une validation automatisée des tâches dès le premier passage, avec au pire de petites erreurs, tout en affirmant que près de 50 % des tâches de Terminal Bench 4.0 sont signalées comme cassées par ce même processus.

GDPx veut corriger les limites de GDPval

Le nouveau benchmark se présente comme un successeur de GDPval, publié le 25 septembre 2025 par OpenAI et souvent cité sur les fiches de lancement des modèles. La critique formulée par SemiAnalysis est nette : GDPval reste trop non interactif, avec un contexte déjà entièrement injecté dans la consigne. Les auteurs citent aussi un accord inter-juges humain de 71 % sur son sous-ensemble « gold » [à vérifier selon les sources originales].

Sur GDPx, les tâches doivent au contraire s’inscrire dans un environnement réaliste. Dans la finance, par exemple, les 24 tâches reproduisent une transaction de private equity dans laquelle un fonds achète environ 62 % d’un fabricant de snacks pour 880 millions de dollars, plus un earnout, à partir d’environ 4 000 fichiers anonymisés. Là, on n’est plus dans le quiz de fin de cours.

Des écarts nets entre modèles, mais des plafonds encore bas

SemiAnalysis dit voir Claude Opus 5.5 comme le meilleur modèle global, avec des victoires en quant trading, hardware design et chip design. Gemini 4 Carbon ressort comme le meilleur modèle en biologie, avec une courte avance en logiciel. GPT-6 Astra remporte le RSI et les matériaux. Meta Muse Wonder Full est présenté comme le meilleur modèle cybersécurité disponible, avec une avance jugée significative.

Les auteurs préviennent toutefois que les scores d’Opus 5.5 et de GPT-6 Astra sont pénalisés par leurs classificateurs de sécurité dans les domaines cyber, biologie et alignement. Sur le plan métier, la finance et le juridique sont particulièrement sévères : tous les modèles y obtiennent zéro avec la notation binaire attendue, ce qui oblige SemiAnalysis à publier des scores partiels moyens pour ces domaines. En quant trading, 70 des 111 runs notés font moins bien que la stratégie de référence ; aucune équipe n’a résolu la tâche publique aapl-target-winsorization.

Ce que disent les chiffres sur la maturité des agents IA

GDPx donne une image moins lisse de l’IA agentique. Dans les tâches d’alignement cyber de Fleet, 196 exécutions sur 200 enfreignent au moins une règle de comportement, et 173 violent une règle jugée sévèrement désalignée. Sur les tâches de santé, 19 exécutions sur 100 passent au-dessus de zéro. Côté coût, SemiAnalysis place GPT-6 Luna et DeepSeek en bas de la courbe coût-performance, Opus au sommet des dépenses, OpenAI au milieu.

Le classement de tête raconte donc deux histoires en même temps. D’un côté, les modèles avancent sur des tâches professionnelles très spécialisées. De l’autre, le niveau reste encore trop fragile pour parler d’autonomie large. SemiAnalysis prévoit une version vivante de GDPx, mise à jour tous les trois à six mois, et ouvre déjà une adresse de contact pour les entreprises de données et les laboratoires intéressés.