GDPval : mesurer la performance des IA sur des tâches économiques réelles
Un nouveau benchmark, GDPval, évalue les capacités des modèles d'IA sur des tâches professionnelles clés aux États-Unis, rapprochant les performances des IA de celles des experts humains.
En octobre 2025, une équipe de chercheurs a présenté GDPval, un benchmark inédit conçu pour évaluer les performances des modèles d'intelligence artificielle sur des tâches économiquement significatives. Ce référentiel couvre 44 professions réparties dans les neuf secteurs majeurs contribuant au produit intérieur brut (PIB) américain, s'appuyant sur des activités professionnelles représentatives réalisées par des experts cumulant en moyenne 14 ans d'expérience. L'objectif est d'apprécier la capacité des IA à accomplir des missions concrètes, au plus près des exigences industrielles.
Un benchmark ancré dans le monde professionnel
GDPval se distingue par son ancrage dans les activités réelles du marché du travail américain, en s'appuyant sur la classification du Bureau of Labor Statistics. Les tâches proposées reflètent fidèlement les responsabilités et les savoir-faire des professionnels expérimentés dans des secteurs clés de l'économie. Cette approche permet d'évaluer non seulement la qualité des livrables produits par les modèles d'IA, mais aussi leur pertinence et leur applicabilité dans un contexte économique réel.
Des performances en progression constante
Les résultats montrent une amélioration linéaire des performances des modèles de pointe sur GDPval au fil du temps. En 2025, les meilleurs modèles approchent la qualité des experts humains dans la réalisation des tâches évaluées. Cette avancée ouvre la voie à une collaboration homme-machine où les IA, sous supervision humaine, pourraient exécuter ces missions plus rapidement et à moindre coût que les professionnels seuls.
Optimiser les capacités des modèles
Les chercheurs ont également identifié plusieurs leviers pour améliorer les performances des IA sur GDPval. L'augmentation de l'effort de raisonnement, l'intégration d'un contexte plus large autour des tâches, ainsi que le recours à un encadrement progressif (scaffolding) contribuent à des résultats plus précis et fiables. Ces pistes sont essentielles pour développer des systèmes capables de s'adapter aux exigences complexes du monde professionnel.
Une ressource ouverte pour la recherche
Pour encourager la recherche et la compréhension des capacités réelles des modèles d'IA, une sélection de 220 tâches « or » a été mise à disposition en open source. Par ailleurs, un service public d'évaluation automatisée a été lancé, facilitant ainsi l'expérimentation et la comparaison des modèles sur des cas concrets et économiquement pertinents.
