Chez Anthropic, l’IA accélère déjà la recherche de modèles

METR estime qu’Anthropic progresse désormais deux fois plus vite sur les tâches bien spécifiées, depuis octobre 2025. L’étude pointe surtout l’effet de l’IA sur la recherche, mais des redactions masquent une large part des preuves.

METR a publié le 5 novembre 2026 une évaluation indépendante menée chez Anthropic : selon ce rapport, l’entreprise améliore désormais les capacités de ses modèles sur des tâches bien spécifiées à un rythme proche de deux fois celui observé entre mars 2024 et octobre 2025. L’organisation attribue une majorité de cette accélération à l’usage de l’IA dans la recherche et le développement, tout en soulignant une forte incertitude. Le sujet compte bien au-delà du cas Anthropic, car il touche à la vitesse à laquelle les laboratoires de pointe peuvent faire progresser leurs systèmes. Et là, les curseurs bougent vite.

Une accélération mesurée, mais loin d’être une certitude

Le cœur de l’analyse repose sur AECI, l’indice interne d’Anthropic dérivé de l’Epoch Capabilities Index. METR estime que les scores de benchmark ont progressé 1,9 fois plus vite depuis octobre 2025, avec un intervalle de confiance à 95 % allant de 1,5 à 2,8 fois. En clair, l’équipe dit voir l’équivalent d’environ deux ans de progrès historiques en un an. Cette lecture compare la période récente à la trajectoire observée entre mars 2024 et octobre 2025.

Le point sensible, toutefois, est la robustesse de la mesure. Selon METR, les résultats varient encore entre 1,1x et 2,9x selon les hypothèses retenues sur les benchmarks, la fonction statistique utilisée ou la sélection des modèles. Une partie des données porte aussi sur des modèles internes non publiés, datés au moment où la majorité des employés d’Anthropic pouvaient les utiliser. Cela aide à comparer les systèmes, mais cela complique aussi la lecture externe.

Pourquoi METR pense que l’IA fait une grande partie du travail

La conclusion la plus marquante est celle-ci : METR juge que la hausse de la vitesse de calcul d’entraînement n’explique pas l’accélération observée. Le rapport exclut donc un simple effet “plus de compute, donc plus vite”. À la place, les enquêteurs estiment qu’une majorité de l’accélération actuelle vient de l’usage de l’IA elle-même, principalement comme assistant des chercheurs.

Les entretiens menés auprès du personnel vont dans le même sens, même si les réponses sont dispersées. Certains chercheurs décrivent un gain de productivité supérieur à 2x, d’autres un effet plus modeste ou moins net. METR relève aussi des sondages internes où l’ampleur perçue du gain grimpe jusqu’à environ 12x en octobre 2026 pour le modèle interne le plus capable. Mais ces auto-évaluations sont fragiles : elles ne mesurent pas directement la performance collective, et répondent souvent à chaud. Bref, ce n’est pas le thermomètre parfait.

Autre signal suivi de près : l’automatisation partielle de tâches de recherche. Les chercheurs interrogés disent que l’IA aide déjà à coder, à lancer des expériences ou à réduire des frictions, sans pour autant remplacer de bout en bout les contributions humaines sur les étapes les plus importantes du pipeline. METR note toutefois des “signes de vie” qui pourraient annoncer des contributions entièrement autonomes plus tôt que prévu.

Ce que les redactions empêchent encore de vérifier

Le rapport ne se lit pas comme un dossier entièrement ouvert. Anthropic a exercé ses droits de redaction sur une majorité des éléments que METR jugeait les plus informatifs. Les passages retirés concernent notamment les estimations détaillées d’attribution à l’IA, des mesures de progrès algorithmique, l’analyse de certains goulots d’étranglement et des prévisions sur les futurs modèles. Anthropic dit avoir voulu retirer des informations “aimed at removing confidential information that could accelerate other AI developers.”

Cette situation pèse directement sur l’interprétation publique. METR dit pouvoir partager ses conclusions de haut niveau, mais reconnaît que la transparence sur les preuves n’est pas complète. Dans les faits, le public doit donc accorder davantage de poids au jugement de l’évaluateur qu’il ne le souhaiterait. C’est un angle mort classique des audits de modèles fermés : on voit la silhouette, pas toujours le détail des coutures.

Des limites de mesure qui comptent pour la suite

METR insiste aussi sur les limites de sa propre méthode. AECI mesure surtout des tâches bien spécifiées, faciles à noter automatiquement ou avec un modèle de langage, ce qui peut sous-estimer ou surévaluer l’effet réel sur le monde concret. Si les modèles franchissent des seuils utiles plus vite que leurs scores ne le montrent, l’impact réel peut croître plus brutalement que prévu. Inversement, si les benchmarks captent surtout des compétences formelles, ils peuvent exagérer ce qui se passe dans des tâches plus “sales”, plus humaines.

Le rapport signale aussi une tension importante : les modèles d’Anthropic affichent désormais plus de 50 % sur l’ensemble des 15 benchmarks utilisés pour Model 4. Cela réduit la marge de lecture de certains tests et peut compliquer les mesures futures. Sur le fond, METR ne dit pas seulement qu’Anthropic accélère. Il dit surtout que cette accélération pourrait encore s’amplifier si les outils d’IA continuent à alléger la recherche elle-même.

Ce que l’enquête a couvert chez Anthropic

L’évaluation s’est déroulée du 12 août au 29 octobre 2026, sur onze semaines, avec l’équivalent de 2,5 postes à temps plein côté METR. L’équipe dit avoir eu accès à des métriques internes, à des résultats de benchmarks, à des données sur le calcul d’entraînement, à des analyses de speedup, à des documents internes et à une quinzaine d’entretiens. Anthropic n’a pas donné un accès de type “employé”, mais le niveau d’ouverture a dépassé ce que l’équipe attendait au départ.

Le cadre de travail n’était pas anodin non plus. Les chercheurs ont travaillé sur des appareils fournis par Anthropic, avec des crédits de tokens gratuits, sans paiement direct de la part de l’entreprise. METR souligne aussi qu’aucune rémunération n’était conditionnée aux résultats et qu’il n’y a pas eu de contrôle financier ou organisationnel d’Anthropic sur l’évaluation. L’indépendance affichée est donc réelle, même si elle ne dissipe pas toutes les réserves liées aux redactions et aux conflits d’intérêts potentiels.

Points clés

  • METR publie son rapport le 5 novembre 2026.
  • AECI montre une accélération estimée à 1,9x depuis octobre 2025.
  • L’intervalle de confiance va de 1,5x à 2,8x.
  • Anthropic a redigé une majorité des preuves jugées les plus utiles.
  • Le rapport s’appuie sur 11 semaines d’enquête et 15 entretiens environ.
  • METR juge que l’IA explique probablement une majorité de l’accélération actuelle.

En chiffres

  • 1,9x — accélération estimée des benchmarks depuis octobre 2025, selon METR.
  • 95 % — intervalle de confiance publié par METR : 1,5x à 2,8x.
  • 11 semaines — durée de l’évaluation, du 12 août au 29 octobre 2026.
  • 2,5 ETP — taille de l’équipe METR mobilisée sur ce travail.
  • 15 entretiens — ordre de grandeur des échanges menés avec des membres du personnel.

À lire