Un agent neuronal intègre planification et mémoire pour raisonner en continu
Un modèle neuronal compact apprend à résoudre des tâches arithmétiques complexes en internalisant planification, mémoire et usage d’outils via un apprentissage par renforcement. Cette avancée illustre une nouvelle génération d’agents IA intégrés, sans orchestration externe.
En 2024, une équipe de chercheurs a développé un agent neuronal capable d’intégrer planification, mémoire et utilisation d’outils internes dans un seul modèle unifié. Contrairement aux architectures classiques qui séparent ces fonctions, ce modèle natif apprend à résoudre des tâches arithmétiques complexes par renforcement, en internalisant les opérations comme des outils symboliques. Cette approche marque une étape importante vers des agents d’intelligence artificielle plus autonomes et adaptatifs.
Un environnement synthétique pour simuler la planification interne
Le système repose sur un environnement simplifié où l’agent doit effectuer des calculs arithmétiques en combinant des opérations telles que multiplication, addition et soustraction. Chaque action correspond à un outil symbolique interne, que l’agent apprend à utiliser dans un ordre séquentiel pour atteindre la bonne réponse. Trois niveaux de difficulté sont proposés, allant de calculs simples à des expressions composées multi-étapes, ce qui permet d’évaluer la progression de la capacité de planification.
Une architecture actor-critic avec mémoire intégrée
Le cœur du modèle est un réseau neuronal récurrent de type GRU, combiné à une architecture actor-critic. Les entrées sont des tokens représentant les chiffres et opérations, ainsi que le niveau de difficulté. Cette configuration permet au réseau d’adapter sa stratégie en fonction de la complexité de la tâche. L’agent génère une séquence d’actions internes, simulant l’usage d’outils et la gestion d’une mémoire à court terme, sans recourir à des modules externes.
Apprentissage par renforcement avec curriculum progressif
Le modèle est entraîné via une boucle d’apprentissage par renforcement, utilisant une méthode advantage actor-critic (A2C). Un curriculum pédagogique est appliqué, augmentant progressivement la difficulté des tâches pour guider l’agent vers des comportements de raisonnement composés. L’entropie est régulée pour encourager l’exploration et éviter la convergence prématurée. Les résultats montrent une amélioration continue des performances sur les trois niveaux de complexité.
Des résultats prometteurs et une nouvelle voie pour l’IA agentique
Les trajectoires d’actions générées par l’agent révèlent une capacité émergente à planifier et utiliser des outils internes de manière autonome. Les évaluations finales indiquent des taux de réussite élevés, confirmant que la mémoire, la planification et l’exécution peuvent être internalisées dans un seul modèle neuronal. Cette méthode ouvre la voie à des agents plus compacts et intégrés, capables de décisions auto-organisées sans boucles de contrôle explicites.
