Anthropic mesure ce que Claude automatise dans ses laboratoires

Anthropic a publié le 17 septembre 2026 un prototype d’indice pour mesurer ce que ses modèles Claude automatisent dans ses travaux de recherche et développement. Selon la note, Claude « leads » 26 % de cette R&D interne en août 2026, alors que la part était inférieure à 1 % en février 2026. L’enjeu dépasse le cas d’Anthropic : la société veut donner une photo plus précise de la vitesse réelle à laquelle l’IA prend en charge le travail de laboratoire, avec des méthodes que d’autres acteurs pourraient reprendre.

Un thermomètre interne pour une course qui s’accélère

L’outil s’appelle R&D Automation Index. Il classe les tâches de R&D sur une échelle allant de AL0, sans implication de l’IA, à AL5, où l’IA agit de manière totalement autonome, sans humain dans la boucle. Entre les deux, AL3 signifie que le modèle « collabore », tandis qu’AL4 veut dire qu’il « leads », c’est-à-dire qu’il mène la tâche à partir d’une consigne de haut niveau, sous supervision humaine.

Anthropic dit avoir construit ce catalogue de tâches à partir de journaux de travail internes, notamment Slack et la documentation maison. En juillet 2026, un agent Claude a passé en revue l’activité hebdomadaire d’un échantillon aléatoire représentant 20 % des employés des départements impliqués dans la boucle R&D, ce qui a permis de recenser environ 15 000 tâches granulaires. Ces tâches ont ensuite été regroupées en un arbre hiérarchique de 542 nœuds, dont 378 feuilles, figé pour que chaque nouvelle mesure compare le même ensemble de travail. Une petite astuce de laboratoire, mais avec des feuilles bien réelles.

Ce que montrent les premiers chiffres

Le résultat le plus visible est cette part de 26 % de travail R&D « menée » par Claude en août 2026. Anthropic précise aussi que plus de 90 % du travail mesuré se situe au niveau AL3 ou au-dessus, et qu’aucun sous-ensemble observé n’atteint encore l’autonomie complète d’AL5. La société décrit donc un usage déjà avancé, mais pas encore un basculement vers un laboratoire entièrement piloté par des agents.

La mesure reste toutefois circonscrite. Elle s’applique au travail de R&D interne d’Anthropic, sur une base de tâches pondérées par le temps humain consacré, et non à l’ensemble de l’activité de l’entreprise. Les auteurs de la note reconnaissent aussi que le panier de tâches figé ne capte pas forcément les nouveaux types de travail apparus plus tard. Anthropic dit vouloir le reconstruire périodiquement et republier des chiffres révisés.

Des agents surveillés presque en temps réel

Le deuxième bloc de mesures porte sur la surveillance des agents internes. Sur sa plateforme interne la plus utilisée, Anthropic indique qu’environ 30 000 agents effectuaient à un instant donné des tâches de recherche et d’ingénierie en août 2026. Des moniteurs en ligne inspectent 100 % de leurs actions avant exécution, généralement en quelques secondes, tandis que des moniteurs hors ligne analysent ensuite 100 % des actions réalisées.

Sur plus d’un milliard de décisions d’agents examinées sur août 2026, 0,002 % ont été bloquées, soit environ une sur 47 000. Les actions bloquées sont ensuite revues par des humains dans la semaine. En parallèle, les systèmes hors ligne signalent environ 100 000 transcriptions par semaine ; les filtres en cours de route réduisent ensuite ce volume, jusqu’à environ 50 alertes prioritaires transmises à une revue humaine hebdomadaire. Selon Anthropic, un à deux transcripts sur 1 000 remontent au niveau d’un examen plus poussé.

La logique est claire : les contrôles en ligne visent les risques rapides et irréversibles, comme une exfiltration de poids de modèle, tandis que les contrôles hors ligne cherchent des comportements dangereux plus progressifs, comme des signes de mauvais alignement. Anthropic ajoute que ses agents conservent une identité individuelle à travers les mises à jour de modèles et qu’ils échangent via un système de messagerie ouvert, ce qui facilite le suivi croisé des conversations et des actions.

Pourquoi Anthropic publie ces mesures

L’entreprise présente ces indicateurs comme un outil de transparence sur la vitesse de développement de l’IA dans les laboratoires de pointe. Elle les rapproche de ses rapports de risque liés à sa Responsible Scaling Policy et de sa proposition de cadre Advanced AI Framework. Anthropic estime aussi que des mesures comparables pourraient servir de base à des exigences plus strictes, par exemple une fenêtre de test fixe avant qu’un nouveau modèle ne soit réutilisé pour faire avancer d’autres travaux d’IA.

La société voit toutefois deux obstacles à une comparaison entre laboratoires : l’absence de méthodologie commune, et le fait qu’un développeur juge ses propres systèmes avec ses propres modèles. Elle dit qu’une vérification par des tiers ou par les modèles d’un autre acteur pourrait réduire ce biais. Anthropic annonce enfin vouloir intégrer des évaluateurs externes indépendants, issus de plusieurs organisations, avec un accès à des processus et données internes comparables à ceux des équipes de risque. Le sujet est technique, mais l’enjeu est très simple : savoir si les modèles accélèrent la recherche, ou si ce sont les chercheurs qui accélèrent encore les modèles.