GEN-1.5 apprend une tâche robotique avec une seule démonstration

Generalist AI a présenté GEN-1.5, un modèle fondation robotique qui apprend une nouvelle tâche physique à partir d’une seule démonstration de 3 à 12 secondes. Selon la société, le système s’appuie sur une fenêtre de contexte de 30 secondes et peut exécuter la tâche sans fine-tuning ni programmation spécifique. L’enjeu est clair : réduire drastiquement le coût d’adaptation des robots, même si le modèle reste à ce stade une recherche, sans poids publics ni API.

Un apprentissage robotique qui tient dans un court exemple

GEN-1.5 est un modèle multimodal qui traite vidéo, capteurs, langage et données proprioceptives, c’est-à-dire les signaux qui indiquent au robot la position de ses articulations et de son corps. Generalist AI dit l’avoir pré-entraîné en continu pendant plus de huit mois sur des données d’interaction physique collectées dans des maisons, des entrepôts et des usines. Le modèle émet des trajectoires d’action à 100 Hz, soit 100 instructions par seconde, puis tente de reproduire le geste observé.

La particularité mise en avant par l’entreprise tient à la méthode de physical prompting. Une démonstration sensorimotrice, avec les flux de capteurs et la trajectoire d’action, est déposée dans la fenêtre de contexte via une interface de glisser-déposer. Le robot enchaîne alors immédiatement sur la tâche. Aucune mise à jour de gradient, aucun ajustement des poids, aucun entraînement spécifique sur la tâche en question.

Des résultats encore expérimentaux, mais déjà parlants

Sur 10 tâches de manipulation, le one-shot in-context prompting a atteint en moyenne 59 % de réussite, avec un écart-type de 10 %, directement depuis le modèle pré-entraîné. Avec 10 étapes de gradient sur cinq minutes de données par tâche, Generalist AI dit monter à 83 % de réussite, avec un écart-type de 9 %. Dans un cas extrême, une seule étape de gradient sur une minute de données a atteint 66,5 % sur une tâche tenue à l’écart de l’apprentissage. Le robot, lui, n’a visiblement pas demandé de pause café.

La société insiste sur un point : ce comportement n’a pas été explicitement conçu. Pas de changement d’architecture pour favoriser l’apprentissage en contexte, pas de boucle de méta-apprentissage, pas d’objectif auxiliaire dédié à l’improvisation. Selon Generalist AI, cette capacité émerge de l’échelle du pré-entraînement, un peu comme le one-shot prompting a émergé avec GPT-3 côté texte.

Ce que le modèle sait transférer d’une tâche à l’autre

Generalist AI met aussi en avant trois formes de transfert. D’abord, la généralisation compositionnelle : deux démonstrations enregistrées séparément peuvent être chaînées en un comportement continu, avec repositionnement, reprise en main et correction d’erreur. Ensuite, le passage simulation-réel : une démonstration capturée en simulation peut servir de consigne à un robot réel, alors même que le pré-entraînement ne contenait pas de données simulées. Enfin, l’imitation humain-vers-robot, quand une personne montre le geste avec ses propres mains sous les caméras du robot.

Après un léger fine-tuning, le système a aussi montré une certaine souplesse. En apprenant à balayer un bloc dans un bol, il a utilisé une banane comme brosse improvisée, puis une pelle pour soulever et vider l’objet. Il a aussi retiré une feuille de papier posée sur le bol et travaillé en ambidextre lorsque les démonstrations étaient faites avec une seule main. Pour un robot, c’est presque de l’art moderne.

Pas encore un produit déployable

Generalist AI précise qu’il ne s’agit pas d’un produit commercial. À ce stade, il n’y a ni poids publics, ni API, ni grille tarifaire, ni accès en self-service. L’accès passe par un partenariat direct, le modèle tournant sur l’infrastructure de l’entreprise. C’est un signal de recherche plus qu’un outil prêt à être branché dans un entrepôt demain matin.

Pour le marché, le message est tout de même net : si ces performances se confirment, l’adaptation des robots pourrait coûter beaucoup moins cher en données et en calcul. Les équipes n’auraient plus à accumuler des dizaines de milliers de pas d’optimisation pour chaque nouvelle tâche simple. Reste à voir si cette logique tient hors du laboratoire, avec des objets imprévus, des conditions sales et des tâches moins courtes que celles décrites par Generalist AI [à vérifier].