Lux : l’agent IA qui pilote votre ordinateur à la vitesse de l’éclair
Lux, nouveau modèle fondation d’OpenAGI, automatise les tâches informatiques avec un score record de 83,6 % sur Mind2Web. Plus rapide et moins coûteux que ses concurrents, il révolutionne l’usage des agents IA sur desktop et navigateur.
Lux, développé par l’équipe OpenAGI Foundation, s’impose en 2024 comme un modèle d’intelligence artificielle capable de contrôler des ordinateurs réels, navigateurs et applications, en exécutant des tâches complexes à partir d’instructions en langage naturel. Avec un score de 83,6 % sur le benchmark Online Mind2Web, il surpasse largement Google Gemini CUA, OpenAI Operator et Anthropic Claude Sonnet 4, marquant une avancée majeure dans l’automatisation des interactions informatiques.
Un agent IA qui agit directement sur l’interface utilisateur
Contrairement aux modèles de chat classiques équipés de plugins, Lux ne se contente pas de dialoguer : il observe l’écran et réalise des actions précises comme cliquer, taper ou faire défiler, en pilotant des logiciels variés tels que navigateurs, éditeurs, tableurs ou clients mail. Cette approche basée sur l’interface graphique plutôt que sur des API spécifiques lui confère une grande polyvalence et une capacité à gérer des workflows complexes dans des environnements réels.
Trois modes d’exécution adaptés à chaque besoin
Lux propose trois modes distincts pour équilibrer rapidité, autonomie et contrôle. Le mode Actor, rapide et réactif, exécute des tâches bien définies en environ 1 seconde par étape, idéal pour remplir des formulaires ou extraire des données. Le mode Thinker décompose des objectifs vagues ou multi-étapes en sous-tâches, adapté à la recherche approfondie ou à la gestion d’emails. Enfin, le mode Tasker offre une exécution déterministe et scriptée, permettant aux développeurs de définir précisément les étapes à suivre avec des mécanismes de reprise en cas d’échec.
Performance, coût et innovation dans l’entraînement
Sur le benchmark Mind2Web, Lux atteint un taux de réussite de 83,6 %, contre 69,0 % pour Gemini CUA et environ 61 % pour ses autres concurrents. Chaque action est réalisée en environ 1 seconde, soit trois fois plus vite que OpenAI Operator, tout en étant dix fois moins coûteux par token. Cette efficacité est rendue possible grâce à une méthode d’entraînement innovante baptisée Agentic Active Pre-training, où le modèle apprend en interagissant activement avec des environnements numériques, plutôt qu’en se contentant d’ingérer passivement du texte.
OSGym : un moteur open source pour entraîner les agents
Le moteur OSGym, open source et sous licence MIT, permet de simuler plus de 1 000 environnements systèmes en parallèle, générant plus de 1 400 trajectoires multi-étapes par minute. Cette infrastructure robuste facilite la formation et l’évaluation d’agents capables de manipuler des logiciels variés, du navigateur aux outils bureautiques, en passant par les environnements de développement.
