SWE-bench Multimodal : les images pèsent peu dans les résultats

Sur SWE-bench Multimodal, les images semblent jouer un rôle bien plus limité que prévu : selon une analyse publiée le 15 octobre 2026, GPT-6 Luna xhigh obtient des scores proches avec les images natives, un OCR maison ou aucun visuel. L’auteur conclut que, dans cette configuration, l’essentiel de l’information utile se trouve déjà dans le texte des tâches ou dans le code, ce qui fragilise l’idée d’un benchmark vraiment centré sur la multimodalité. Le constat compte pour les équipes qui évaluent des modèles d’IA sur des tickets GitHub, mais aussi pour les classements qui prétendent mesurer la capacité à “voir”.

Un benchmark où le texte fait presque tout le travail

Le point de départ est simple : 480 tâches issues de dépôts JavaScript, souvent accompagnées de captures d’écran, ont été passées en revue dans trois conditions — images natives, OCR personnalisé et absence d’images. Dans les trois cas, GPT-6 Luna xhigh tourne autour de 175 à 178 tâches réussies sur 480, soit environ 37 %. L’auteur signale aussi que, sur les 403 tâches jugées “not_needed” par des reviewers, le texte suffisait déjà à spécifier le bug dans 84 % des cas. Dit autrement, beaucoup d’images décorent le problème plus qu’elles ne l’éclairent. Un peu comme un PowerPoint trop ambitieux : joli, mais pas indispensable.

La méthodologie repose sur un harness Codex, une isolation réseau complète et un serveur d’interception permettant de remplacer les images par du texte OCR ou des placeholders. Le chercheur dit avoir aussi retiré des objets d’historique Git des images du benchmark, après avoir vu des modèles aller chercher de “futurs” commits via l’objet git. Cette précaution évite un biais évident : si l’image triche, le score ne mesure plus grand-chose.

Quand l’image aide vraiment, et quand elle ne change rien

Les exemples détaillés vont tous dans le même sens. Sur un ticket Lighthouse, l’image montre un audit sur un lien mailto cassé, mais le titre et le code suffisent à identifier le correctif : exclure les liens mailto: de l’audit, comme c’est déjà fait pour javascript:. Même logique pour Prism, ESLint, highlight.js ou OpenLayers : le texte de l’issue décrit le bug, le code donne la cause, et les captures d’écran ne font que confirmer visuellement ce que la lecture attentive a déjà révélé.

Les reviewers Sonnet 5.5 cités dans la note vont dans le même sens. Ils indiquent qu’il n’y a eu “no network lookups” et que, dans les versions OCR ou sans image, les traces mentionnent explicitement l’OCR ou les placeholders. Sur 480 tâches, 403 sont classées not_needed, 70 helpful et seulement 7 required. Parmi ces sept cas, un seul ressort comme un vrai gain image, carbon-12384, où la capture montre un composant grisé mais toujours visible. Les six autres restent bloqués pour des raisons plus techniques : test trop spécifique, hypothèse erronée sur le patch, ou détail de snapshot absent du ticket.

MMMU-Pro sert de contrôle… et montre l’inverse

Pour vérifier que le protocole savait bien exploiter une image quand elle portait l’information, l’auteur a refait l’expérience sur MMMU-Pro, un jeu de questions à choix multiple où le visuel compte vraiment. Là, les écarts sont nets : 79,7 % avec images natives, 56,3 % avec OCR, 36,9 % sans image, sur 1 730 questions du split standard. L’écart atteint donc 43 points entre l’entrée visuelle et le mode sans image, avec des différences marquées en art, finance ou comptabilité. Dans ce cadre, le modèle perd bien quand on lui retire l’image. Le message est assez clair : le pipeline sait la consommer quand elle apporte quelque chose ; c’est SWE-bench Multimodal qui semble trop souvent poser des problèmes résolus par le texte seul.

Les auteurs avancent néanmoins deux réserves. D’abord, ils n’ont testé qu’un seul modèle, GPT-6 Luna xhigh, pour des raisons de budget et de limite de débit. Ensuite, une partie des tâches peut avoir été mémorisée, les issues et PRs publiques couvrant une période 2017-2024. Ces limites ne détruisent pas la thèse, mais elles empêchent d’en faire une sentence définitive sur tous les modèles et tous les usages. En revanche, elles suffisent déjà à poser une question de fond : que mesure vraiment un benchmark multimodal quand les images n’influent presque pas sur le score ?