OpenMobile-2 rapproche les agents mobiles open source des modèles fermés

OpenMobile-2, un projet open source d’agents pour smartphone mené par des chercheurs de Nanjing University, de SenseTime et d’autres universités, montre qu’un modèle libre peut désormais se rapprocher des meilleurs systèmes fermés sur des tâches mobiles. Publiée le 25 octobre 2026, l’étude décrit deux agents fondés sur Qwen3.5 et Qwen3.6, avec 9 milliards et 27 milliards de paramètres, ainsi que l’environnement complet pour reproduire l’entraînement. L’enjeu dépasse le simple benchmark : sur mobile, les agents doivent comprendre des interfaces mouvantes, des sessions persistantes et des applications qui n’offrent pas toujours d’API. Et c’est là que le modèle open source commence à faire sérieusement de l’ombre.

Former un agent sur des apps réelles reste pénible, donc les chercheurs les ont reconstruites

L’équipe a choisi une voie assez pragmatique : plutôt que de s’appuyer uniquement sur des applications réelles, difficiles à réinitialiser et coûteuses à manipuler, elle a reconstruit 35 apps populaires, surtout en Chine, dont Taobao, JD, DiDi et Meituan, auxquelles s’ajoutent des services comme Slack et Google Drive. En combinant ces reconstructions avec des applications déjà simulées et des apps exécutées dans un émulateur Android, le terrain d’entraînement dépasse 110 applications. Les simulations repartent automatiquement de leur état initial, tandis que l’agent ne voit que des captures d’écran, sans accès aux données internes. Autrement dit, il apprend presque comme un utilisateur humain, mais sans le café tiède ni les mots de passe oubliés.

Les chercheurs disent avoir généré environ 11 600 workflows d’exemple et plus de 2 000 tâches d’entraînement avec vérification automatique de réussite. Gemini 3.1 Pro de Google a servi de modèle enseignant pour produire les exemples. Le système reste donc ouvert côté diffusion, mais pas totalement côté dépendance intellectuelle : OpenMobile-2 apprend en partie à partir d’un modèle fermé.

La diversité des applications pèse plus que le volume de données

Le résultat le plus intéressant tient à un point très concret : à budget de données constant, augmenter le nombre d’applications vues à l’entraînement améliore davantage les performances que multiplier les exemples sur quelques apps seulement. Dans l’étude, le taux de réussite sur des applications jamais vues passe de 60,7 % à 67,5 % quand la diversité applicative augmente. Cette logique se vérifie aussi sur les benchmarks. Sur AndroidWorld, le grand modèle progresse de 67,1 à 79,9 points, et le petit de 54,3 à 74 points. Sur MobileWorld, plus difficile car il couvre des tâches longues et multi-apps, le grand modèle monte de 35,9 à 50,4 points.

La meilleure progression apparaît sur de vrais téléphones Android. Sur SPA-Bench, le modèle de 27 milliards de paramètres passe de 31,9 à 59,6 points, soit le meilleur score parmi les modèles ouverts selon les auteurs. Sur le même test, l’agent OpenMobile-2-27B reste toutefois derrière Gemini 3.1 Pro. De son côté, le renforcement par apprentissage apporte des gains plus modestes, surtout dans les environnements qui ressemblent déjà à ceux du pré-entraînement ; sur AndroidWorld, le grand modèle recule même légèrement après cette phase, de 80,8 à 79,9 points.

Les raccourcis d’interface changent la méthode, pas encore la conclusion

L’étude teste aussi une approche hybride : plus de 50 applications simulées exposent des commandes directes, comme « add to cart », qui permettent d’éviter certains menus. L’agent peut alors combiner gestes classiques et outils applicatifs. Sans entraînement spécifique, il n’utilise pas vraiment ces raccourcis. Une fois habitué, en revanche, il résout jusqu’à 10,3 points de tâches supplémentaires tout en réduisant d’environ cinq étapes le chemin moyen. Les auteurs notent que cette capacité se transfère même à des outils non vus pendant l’entraînement.

Le projet s’appuie aussi sur un benchmark maison de 215 tâches, dont près de la moitié couvrent plusieurs applications. La réussite n’est pas jugée par un autre modèle de langage, mais par un programme qui compare l’état des données avant et après l’exécution. Les chercheurs disent avoir vérifié qu’il existe peu de recouvrement entre les tâches d’entraînement et de test. Dans ce contexte, OpenMobile-2 ne prouve pas qu’un agent ouvert a déjà rattrapé les meilleurs systèmes fermés partout. Il montre surtout qu’en 2026, sur le mobile, la variété des environnements compte autant que la taille du modèle, et parfois davantage.