StateBench mesure les limites des modèles face aux longs documents

Allen Institute for AI a présenté StateBench le 3 novembre 2026, un benchmark conçu pour mesurer comment les modèles de langage suivent des changements d’état dans de longs documents. L’enjeu est concret : savoir si un modèle garde correctement la trace de variables, d’objets ou de personnages quand les informations s’accumulent. Dans les tests d’Ai2, les modèles récurrents et hybrides tiennent mieux la longueur, mais les transformers, y compris plusieurs modèles de pointe, décrochent dès que les dépendances deviennent complexes.

Suivre un état, ce n’est pas juste lire jusqu’au bout

Le cœur du problème est simple à dire, moins à résoudre : un modèle peut avaler un long texte sans pour autant retenir ce qui a changé à l’intérieur. StateBench distingue quatre niveaux de difficulté, depuis des assignments immuables jusqu’aux mises à jour par référence, où une variable reprend la valeur d’une autre. Cette hiérarchie reprend des distinctions théoriques issues de la théorie de Krohn-Rhodes, un cadre algébrique qui décrit comment des problèmes de suivi d’état se décomposent en primitives plus simples.

Les chercheurs ont voulu éviter un biais fréquent dans les évaluations : ne tester que les cas les plus durs. Leur benchmark conserve donc le même nombre de variables, les mêmes valeurs distinctes et les mêmes positions de mise à jour, mais change uniquement le type d’opération. Résultat : les écarts observés reflètent mieux la difficulté réelle du suivi d’état, et pas seulement la forme du prompt. Ce n’est pas glamour, mais c’est précisément le genre de détail qui fait ou défait une évaluation sérieuse.

Des formats différents, des écarts qui restent

Ai2 a testé des modèles ouverts préentraînés, dont Olmo 3, un transformer de 7 milliards de paramètres, et Olmo Hybrid, qui ajoute des couches Gated DeltaNet. Aucun n’avait vu des contextes au-delà de 64 000 tokens pendant l’entraînement, et les tests allaient souvent bien au-delà. Dans ce cadre, presque tous les modèles réussissent les tâches r-trivial, baissent sur les aperiodic à mesure que la longueur augmente, puis restent au niveau du hasard sur les tâches general finite.

Un détail compte beaucoup : la présentation du problème change les scores. Sur certains formats proches de ceux de RULER, des petits modèles hybrides ou Gated DeltaNet frôlent le plafond, alors que la même logique présentée comme des éditions de tableau fait chuter les résultats. Autrement dit, un bon score dans un format ne prouve pas une compétence générale de suivi d’état. Le benchmark a justement été pensé pour éviter ce piège.

Pourquoi les modèles de pointe plafonnent-ils sur les cas durs ?

Les tests menés sur Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol et GPT-6 Luna vont dans le même sens. Tous s’en sortent bien sur les tâches r-trivial et aperiodic, mais leurs performances chutent sur les variantes soluble et general finite quand les séquences s’allongent. Sur les plus longs cas general finite, l’exactitude tombe à 13 % ou moins selon Ai2.

La raison probable tient à la sensibilité du problème : plus la chaîne de mises à jour est longue, plus un seul oubli suffit à fausser le résultat final. Les transformers ont ici une faiblesse connue, liée à la difficulté de transporter fidèlement un état à travers de longues dépendances. Les modèles récurrents ou hybrides, eux, conservent un avantage sur ce terrain quand ils sont entraînés directement pour cela.

Quand l’entraînement direct change la donne

Pour séparer ce qui relève de l’architecture de ce qui relève du préentraînement, les chercheurs ont entraîné six modèles de 275 millions de paramètres sur StateBench : deux transformers, deux hybrides et deux variantes Gated DeltaNet. Les séquences d’entraînement comptaient au plus 256 mises à jour, mais les tests montaient jusqu’à 64 000, soit 250 fois la longueur maximale vue à l’entraînement.

Dans ce cadre contrôlé, les hybrides et Gated DeltaNet généralisent presque parfaitement sur les niveaux r-trivial, aperiodic et soluble. Les transformers apprennent les cas faciles, puis se dégradent au-delà de leur zone de confort, sans jamais maîtriser les problèmes general finite. Sur la tâche la plus difficile, la variante Gated DeltaNet avec mise à jour mémoire plus flexible reste proche du plein score jusqu’à environ dix fois la longueur d’entraînement. Le message est clair : certains échecs venaient du préentraînement, mais pas tous.

Ce que la publication laisse encore ouvert

Le papier d’Ai2 avance aussi une preuve pour une variante de Gated DeltaNet à valeurs propres non négatives, capable de résoudre toutes les tâches aperiodic et certains cas périodiques, dont la parité. La parité consiste à déterminer si une répétition d’entrée est paire ou impaire. En revanche, sa place exacte dans la hiérarchie reste ouverte, tout comme sa capacité à résoudre tous les problèmes soluble ou l’effet d’un couplage avec des couches d’attention.

Autre limite assumée : StateBench suppose un nombre fixe de variables. Or les documents et conversations réels ajoutent sans cesse de nouveaux noms, objets ou références à suivre. Le benchmark mesure donc très bien la tenue d’un état connu, mais pas encore l’arrivée d’entités nouvelles en cours de route. Pour les assistants qui jonglent avec des dossiers longs ou des échanges qui s’étirent, la nuance compte beaucoup.