SIMA 2 : l’agent IA de DeepMind qui apprend à jouer pour mieux penser

En novembre 2025, Google DeepMind a présenté SIMA 2, un agent d’intelligence artificielle capable d’apprendre à jouer à divers jeux vidéo en 3D comme No Man’s Sky ou Goat Simulator 3. Cette avancée marque une étape importante dans la quête d’une intelligence artificielle générale (AGI), avec des implications potentielles pour la robotique et les environnements réels. L’agent, qui intègre le modèle de langage Gemini, peut comprendre des objectifs complexes, raisonner et agir dans des mondes virtuels inconnus, ouvrant la voie à des applications bien au-delà du simple divertissement.

Un agent polyvalent pour des mondes virtuels complexes

SIMA 2 succède à SIMA, lancé en mars 2024, en s’appuyant sur Gemini, le modèle de langage phare de Google. Cette combinaison permet à l’agent d’exécuter des tâches complexes dans des environnements 3D variés, en apprenant par essais et erreurs et en s’adaptant à des défis inédits. Contrairement à des IA spécialisées comme AlphaZero ou AlphaStar, SIMA 2 ne se limite pas à un jeu précis mais apprend à suivre des instructions humaines dans des jeux ouverts, sans objectifs prédéfinis.

Les interactions avec SIMA 2 se font via chat textuel, commandes vocales ou annotations à l’écran, tandis que l’agent analyse les pixels du jeu pour déterminer ses actions. En plus des jeux commerciaux, il a été entraîné sur des mondes virtuels créés par DeepMind, apprenant à associer les entrées clavier et souris aux actions nécessaires.

Vers une intelligence générale et la robotique

Les chercheurs de DeepMind voient dans SIMA 2 un terrain d’entraînement idéal pour développer des agents capables d’agir dans des environnements réels. Jane Wang, chercheuse senior, souligne que les compétences acquises, comme la navigation, l’utilisation d’outils et la collaboration avec des humains, sont des briques essentielles pour des robots polyvalents. Joe Marino, également chercheur, insiste sur le fait que la capacité de SIMA 2 à gérer des mondes inconnus est un pas fondamental vers l’AGI et la robotique générale.

Pour tester la robustesse de l’agent, DeepMind a utilisé Genie 3, un modèle générant des environnements virtuels inédits, où SIMA 2 a su s’adapter et accomplir des tâches. Gemini génère aussi des missions nouvelles, fournissant des conseils à l’agent en cas d’échec, ce qui lui permet de progresser par essais répétés.

Des limites et des avis partagés

Malgré ses progrès, SIMA 2 reste expérimental. Il peine encore avec les tâches longues et complexes, et sa mémoire à court terme limite sa réactivité. Son habileté à manipuler clavier et souris est inférieure à celle d’un humain. Certains experts, comme Julian Togelius de l’Université de New York, reconnaissent la difficulté de jouer en temps réel à partir d’images visuelles, mais restent prudents quant à la transposition directe des compétences acquises vers la robotique réelle.

Matthew Guzdial, chercheur à l’Université de l’Alberta, souligne que la similarité des contrôles dans la plupart des jeux facilite l’apprentissage de SIMA 2, mais doute de son efficacité face à des interfaces plus complexes ou dans le monde réel, où la perception visuelle est plus difficile à interpréter.