Project Genie : créer et explorer des mondes virtuels interactifs à partir de simples instructions

Google DeepMind a dévoilé Project Genie, un prototype de recherche capable de transformer de simples instructions textuelles ou visuelles en mini-expériences interactives et explorables en temps réel. Basé sur le modèle Genie 3, ce système génère des environnements virtuels cohérents et dynamiques, offrant une navigation fluide à environ 24 images par seconde en 720p. Accessible uniquement aux abonnés Google AI Ultra aux États-Unis, ce projet illustre les avancées dans la modélisation de mondes virtuels par intelligence artificielle.

Quand la génération de mondes virtuels devient un terrain de jeu pour l’IA

Project Genie repose sur Genie 3, un modèle d’IA qui apprend la physique du monde à partir de vastes corpus vidéo pour créer des environnements interactifs. Contrairement à des mondes 3D classiques, il génère des vidéos dynamiques répondant aux commandes utilisateur, simulant une exploration immersive. L’utilisateur commence par décrire un environnement et un personnage, ou fournit une image de référence. Le système produit alors un croquis fixe via Nano Banana Pro, modifiable avant de lancer la génération du monde. La navigation s’effectue avec les touches WASD, la caméra pouvant être contrôlée en vue à la première ou troisième personne.

Un prototype prometteur mais encore limité

Malgré ses capacités impressionnantes, Project Genie reste un prototype expérimental. Chaque session d’exploration est limitée à 60 secondes, au-delà desquelles la cohérence du monde tend à se dégrader. Les interactions se limitent principalement à la navigation simple, tandis que les mécaniques complexes comme les combats ou les interactions multi-agents ne sont pas encore stabilisées. Le rendu n’est pas photoréaliste et peut parfois intégrer des éléments textuels maladroits. Par ailleurs, certaines requêtes sont bloquées pour respecter les droits de tiers, notamment concernant des univers protégés comme ceux de Nintendo ou Disney.

Des usages variés au-delà du jeu vidéo

Google met en avant plusieurs applications potentielles de Project Genie. Dans le domaine du jeu vidéo, il sert de bac à sable pour prototyper rapidement des niveaux ou ambiances, évoquant des univers à la Zelda ou Mario. L’éducation pourrait bénéficier d’expériences immersives, comme la visite virtuelle de la Rome antique ou l’exploration d’écosystèmes. La création de contenus pour le cinéma, la publicité ou la réalité étendue (XR) est également envisagée, grâce à la génération rapide de scènes animées à partir de simples descriptions ou concept art. Enfin, le modèle facilite la recherche sur les agents incarnés, en générant des environnements variés pour entraîner des IA autonomes à percevoir et agir dans un monde simulé.