FrontierMemory mesure ce que les agents retiennent vraiment

Letta a publié mercredi FrontierMemory, un benchmark qui teste si les agents IA apprennent de leurs expériences passées, et pas seulement s’ils ressortent une information stockée au bon moment. Le résultat compte pour les développeurs, car la mémoire d’un agent dépend autant du modèle que du harness, c’est-à-dire la couche logicielle qui orchestre ses actions. Dans les premiers tests, les écarts sont francs, avec Dream de Letta à 73,3 % et OpenAI Agents SDK à 40 % sur le même modèle. Bref, la mémoire des agents n’a pas encore la constance d’un bon stagiaire qui prend des notes.

Le benchmark montre que le harness pèse presque autant que le modèle

FrontierMemory part d’une idée simple : savoir quelque chose ne suffit pas, encore faut-il l’utiliser au bon moment sur une tâche suivante. Letta a donc reconfiguré des tests de codage et de knowledge work pour obliger les agents à capitaliser sur des tentatives précédentes, avec seulement 15 tâches dans cette première version. Selon Charles Packer, cofondateur et CEO de Letta, les benchmarks classiques sont déjà saturés parce qu’ils mesurent surtout le rappel de faits, alors que le vrai sujet est le continual learning, ou apprentissage continu dans le contexte d’un agent.

Les scores varient fortement selon l’infrastructure d’exécution. Letta Dream atteint 73,3 %, Prime Agent 60 %, OpenAI Agents SDK 40 %, Claude Managed Agents 33,3 % et Hermes Agent 26,7 %. Quand Letta compare Dream et OpenAI Agents SDK avec le même modèle GPT-6.1 Sol, Dream fait 60 % contre 40 %, ce qui suggère que le cadre d’exécution change nettement la performance. Le message est clair : le moteur compte, mais la boîte de vitesses aussi.

Des modèles plus chers peuvent mieux fabriquer la mémoire

Le benchmark ne mesure pas seulement la performance finale. Il évalue aussi la capacité des modèles à générer des mémoires utiles pour des tâches futures. Sur ce point, Claude Opus 5.5 et GLM-5.3 arrivent ex aequo en tête avec 73,3 %, devant Kimi K3 à 66,7 %, puis GPT-6.1 Sol et Gemini 4 Argon à 60 %. Muse Wonder descend à 46,7 % et Grok 4.7 à 33,3 %.

Mais le classement ne raconte pas toute l’histoire. OpenAI garde un avantage de coût dans les chiffres publiés par Letta : GPT-6.1 Sol est estimé à 0,77 dollar par tâche, contre 2,80 dollars pour Claude Opus 5.5 et 3,58 dollars pour GLM-5.3. Autrement dit, un modèle plus cher peut produire de meilleures mémoires, tandis qu’un modèle moins coûteux peut rester plus rentable à l’exécution. C’est le genre d’arbitrage que les équipes produit connaissent bien : mieux, plus vite, moins cher, choisissez deux [à vérifier].

Pourquoi cette mémoire reste imparfaite

Letta insiste aussi sur la qualité du contenu mémorisé. Dans un cas portant sur des données de tarification d’entreprise, Opus 5.5 a créé une règle utile pour décider quand consulter certaines sources, alors que GPT-6.1 Sol a généré quatre compétences distinctes sans que l’agent retrouve celle qu’il fallait. Dans un autre test, Gemini 4 Argon a retenu des tailles de fichiers trop spécifiques, ce qui aide peu quand le contexte change. À l’inverse, Opus 5.5 a produit une consigne plus robuste, en indiquant de vérifier à la fois le fichier habituel et les emails.

Cette nuance compte pour les usages professionnels. Une mémoire qui se contente d’archiver des détails peut donner l’illusion d’une amélioration, sans vraiment aider l’agent à mieux agir la fois suivante. Letta prévient aussi qu’un agent peut apprendre de mauvais réflexes si rien ne filtre ce qui est conservé. La prochaine version du benchmark doit intégrer des tâches plus longues et des mises à jour de mémoire en continu, mais, à ce stade, FrontierMemory pointe déjà une limite pratique : l’agent intelligent n’est pas seulement celui qui se souvient, c’est celui qui se souvient bien.