Falcon-H1R-7B : un modèle compact qui rivalise avec les plus grands en raisonnement long

Le Technology Innovation Institute (TII) d’Abu Dhabi a lancé Falcon-H1R-7B, un modèle d’intelligence artificielle à 7 milliards de paramètres spécialisé dans le raisonnement complexe. Ce modèle hybride, combinant Transformer et architecture Mamba2, se distingue par sa capacité à traiter des contextes exceptionnellement longs, jusqu’à 256 000 tokens, et par des performances en mathématiques, codage et raisonnement général qui égalent voire surpassent des modèles beaucoup plus volumineux, allant jusqu’à 47 milliards de paramètres.

Un hybride ingénieux pour dompter les longues chaînes de pensée

Falcon-H1R-7B repose sur une architecture hybride mêlant des couches Transformer classiques à des composants Mamba2, spécialisés dans la modélisation séquentielle linéaire. Cette combinaison permet de réduire la complexité quadratique habituelle de l’attention dans les Transformers, améliorant ainsi la vitesse et la gestion mémoire sur de très longues séquences. Grâce à cette conception, le modèle peut gérer des chaînes de raisonnement étendues, des journaux d’utilisation d’outils multi-étapes et des prompts multi-documents en une seule passe, avec un contexte maximal fixé à 262 144 tokens dans les déploiements standards via vLLM.

Une formation en deux temps pour un raisonnement affûté

La formation de Falcon-H1R-7B s’effectue en deux phases. D’abord, un fine tuning supervisé sur des traces de raisonnement longues, couvrant les mathématiques, le codage et les sciences, avec des séquences pouvant atteindre 48 000 tokens. Cette étape privilégie les problèmes complexes grâce à un filtrage pondéré. Ensuite, un affinage par apprentissage par renforcement via GRPO (Group Relative Policy Optimization) récompense les chaînes de raisonnement correctes, validées par des contrôles symboliques en mathématiques ou des tests unitaires en code. Cette méthode pousse le modèle à conserver des étapes intermédiaires utiles tout en respectant une limite de tokens.

Des résultats qui bousculent les standards des modèles plus volumineux

Sur les benchmarks mathématiques, Falcon-H1R-7B atteint un score agrégé de 73,96 %, surpassant des modèles comme Apriel-1.5-15B (69,32 %) ou Nemotron-H-47B. Il obtient notamment 88,1 % sur AIME 24 et 83,1 % sur AIME 25. En codage et tâches agentiques, il affiche 33,95 % de score global, avec 68,6 % sur LiveCodeBench v6, devant plusieurs modèles plus grands. En raisonnement général, il atteint 49,48 % avec des performances remarquables sur MMLU Pro (72,1 %) et GPQA D (61,3 %).

Performance et efficacité : un duo gagnant

Le modèle se distingue aussi par son débit d’inférence, atteignant jusqu’à 1 800 tokens par seconde par GPU dans certaines configurations, soit presque le double de Qwen3-8B. Cette efficacité est due à l’architecture hybride qui optimise la gestion mémoire et la vitesse sur de longues séquences. Par ailleurs, Falcon-H1R-7B intègre une méthode de scaling au test appelée Deep Think with confidence (DeepConf), qui exécute plusieurs chaînes de raisonnement en parallèle et sélectionne les plus fiables selon les scores de confiance, améliorant ainsi la précision tout en maîtrisant le budget de tokens générés.