Les travaux sur les LLM vieillissent plus vite que les modèles

Les travaux qui décrivent les grands modèles de langage avancent moins vite que les modèles eux-mêmes, selon une étude de Stanford publiée le 3 novembre 2026. Owen Queen et James Zou ont testé 50 affirmations très citées sur les LLM face à 20 modèles récents, et 44 % d’entre elles sont déjà « expired », c’est-à-dire dépassées. Le signal est clair : dans ce domaine, une vérité de laboratoire peut vieillir avant même d’avoir trouvé son lecteur.

Quand une découverte dure à peine un an et demi

Parmi les 22 résultats auxquels les chercheurs ont pu associer une date d’expiration, la durée de vie moyenne n’atteint que 15,7 mois. Après un an, 16 % des résultats étaient déjà obsolètes ; après deux ans, la part montait à 39 %. En parallèle, 34 % des conclusions examinées se sont nettement affaiblies, 16 % tiennent toujours, et 6 % se sont même renforcées.

Les modèles évalués ont été publiés entre juillet 2024 et septembre 2026 par huit développeurs différents. Cette diversité n’empêche pas des écarts marqués : dans la même fenêtre de sortie, DeepSeek V4 Pro compte 11 résultats expirés, contre 30 pour GPT-6.1 Sol. Ni la date de publication, ni l’éditeur, ni la taille du modèle ne permettent de prédire proprement ce qui va tenir, ou non, dans la durée.

Ce qui résiste, ce qui s’effrite

Les affirmations sur ce que les modèles « ne savent pas faire » s’usent le plus vite. Cinq des neuf résultats liés au raisonnement sont considérés comme expirés, et aucun n’a résisté ou gagné en solidité. Les exemples cités sont parlants : compter les lettres de « strawberry », faire de l’arithmétique dans des systèmes de numération inhabituels, perdre de l’information au milieu de longs contextes ou abandonner la bonne réponse quand l’utilisateur insiste.

À l’inverse, les observations sur les préférences et les tendances tiennent mieux. Trois des onze résultats encore valides ou renforcés concernent les modèles comme évaluateurs : ils préfèrent leurs propres réponses, notent de manière similaire des articles acceptés et refusés, ou se laissent influencer par la façon dont un résumé médical est formulé. D’autres portent sur la flatterie envers l’utilisateur, une tendance politique à gauche, des réponses quasi identiques à des questions ouvertes et une distribution non uniforme des nombres aléatoires.

Les hallucinations de citations ont chuté, mais pas partout

En guise d’étude de cas, Queen et Zou se sont penchés sur les références scientifiques inventées. Dans une étude de 2023, GPT-3.5 fabriquait 55 % de ses citations. En 2026, GPT-6.1 Sol tombe à 0 % et Claude Sonnet 5.5 à 1 % dans le même test. Mais Qwen3.7-Flash affiche encore 69 % de références fabriquées, ce qui rappelle qu’un progrès global ne gomme pas les écarts entre modèles.

Les auteurs préviennent aussi contre une lecture trop optimiste. Sur les questions dites à deux sauts, où le modèle doit combiner deux faits connus, Claude Sonnet 5.5 échoue encore dans environ 10 % des cas lorsqu’il répond correctement aux deux questions séparées. La « Reversal Curse » et les réponses contradictoires à des questions jumelées sur le temps se sont atténuées, sans disparaître complètement. Bref, le problème bouge, il ne s’évapore pas.

Ce que Stanford demande aux chercheurs

La conclusion est méthodologique autant que scientifique : les résultats empiriques sur les LLM doivent être présentés comme des observations valables pour un modèle précis, à un moment précis, et non comme des lois générales. Les chercheurs recommandent d’indiquer le modèle, sa version et la date de mesure, puis de publier les prompts et le code d’analyse pour permettre des vérifications ultérieures.

Cette exigence compte pour le marché autant que pour la recherche. Les entreprises, les intégrateurs et les équipes produits s’appuient souvent sur des articles académiques pour choisir un modèle, fixer des garde-fous ou justifier une architecture. Si les constats s’éteignent en 15,7 mois en moyenne, la documentation technique doit devenir plus vivante, sinon elle finit au musée des bonnes idées. Et dans ce domaine, le musée se remplit vite.