FLUX 3 Action pousse la robotique open source à accélérer

Black Forest Labs a publié FLUX 3 Action, un modèle d’IA ouvert destiné à la robotique, le 24 septembre 2026. Ce « world-action model » lit des flux vidéo multi-caméras, l’état du robot et une instruction texte, puis prédit l’action suivante et l’évolution de l’environnement. L’enjeu est simple : rendre le contrôle robotique plus rapide et plus compact, sans sacrifier trop de précision.

Un modèle pensé pour agir, pas seulement pour raisonner

FLUX 3 Action s’appuie sur FLUX 3, le modèle multimodal de Black Forest Labs entraîné surtout sur de la vidéo, mais aussi sur de l’image et de l’audio. Ici, la logique change : le système transforme des entrées de perception en gestes et en trajectoires, avec une sortie conjointe vidéo-action. En clair, il ne se contente pas de décrire ce qu’il voit, il propose ce qu’il faut faire ensuite.

Le modèle compte 7 milliards de paramètres et vise des usages où la latence compte autant que la qualité de planification. Black Forest Labs estime que les grands modèles de raisonnement savent planifier, mais qu’ils sont souvent trop lourds et trop lents pour tourner directement sur un robot. Cette contrainte pèse vite dans un bras articulé, où chaque milliseconde évitée compte. Et où personne n’a envie d’attendre que le robot réfléchisse à sa propre main.

Des scores solides sur RoboLab-120, avec moins de paramètres

Sur le classement RoboLab-120, FLUX 3 Action signe 42,92 % de réussite selon Black Forest Labs, et 42,24 % ± 0,36 en moyenne multi-seed pour le checkpoint FP8 guidé. Le modèle devance Cosmos 3 Nano Policy, donné à 36,8 % avec 16 milliards de paramètres, ainsi que π0.5 à 28,0 % avec 3,3 milliards de paramètres. Black Forest Labs parle d’un gain de 6,1 points face à Cosmos 3 Nano, avec 56 % de paramètres en moins.

Le test ne s’arrête pas au simulateur. Sur un banc matériel Franka évalué par Positronic Robotics, FLUX 3 Action a réussi 28 tentatives sur 30, soit 93,3 %, contre 27 sur 30 pour Cosmos 3 Nano, 20 sur 30 pour DreamZero et 13 sur 30 pour π0.5. Ces chiffres comptent surtout pour les intégrateurs, car le passage du benchmark à la machine réelle reste le moment où les belles promesses se cognent au métal.

Trois variantes, trois compromis de vitesse

Black Forest Labs distribue FLUX 3 Action en trois versions de politique DROID : une version de base, une version « guidance-distilled » et une version « step-distilled ». La première garde quatre étapes d’échantillonnage ; la deuxième enlève une passe de guidance et tourne 1,8 à 2 fois plus vite ; la troisième ne garde qu’une étape et monte à 3,15 à 4 fois plus vite, avec une baisse de réussite annoncée de 3,51 à 4,32 points.

Le modèle a aussi été pensé pour des déploiements concrets. Selon la documentation, la politique DROID demande environ 32 Go de mémoire GPU en BF16 sur un H200, mais peut tenir sur des cartes 24 Go avec quantification FP8 et offload de l’encodeur texte. Le support de NVIDIA Jetson est annoncé, tout comme l’intégration native dans Hugging Face LeRobot. Pour les équipes qui veulent fine-tuner le modèle, Black Forest Labs fournit aussi des recettes DROID et SO-101, dont un exemple de pick-and-place appris à partir d’environ 200 démonstrations.

Une piste pour les robots, mais aussi pour les agents numériques

Black Forest Labs voit dans FLUX 3 Action une base utile au-delà de la robotique pure. Le laboratoire évoque des environnements numériques, avec les jeux vidéo comme terrain d’essai pour la navigation et, à terme, des agents capables d’opérer des ordinateurs en réagissant vite. L’idée est cohérente : les modèles de perception-action intéressent autant les bras robotiques que les systèmes qui interagissent avec des interfaces.

Reste une limite importante. Les poids sont disponibles sur Hugging Face, mais sous licence FLUX Kommunity License, réservée à un usage non commercial. Les sorties du modèle ne comprennent pas de limites natives de vitesse, de force ou d’espace de travail ; ces garde-fous doivent être imposés par l’application. C’est un détail qui n’en est pas un, surtout quand un robot commence à manipuler le monde physique sans filet.