ERNIE-4.5-VL-28B-A3B-Thinking : le raisonnement multimodal à 3 milliards de paramètres

En 2024, Baidu lance ERNIE-4.5-VL-28B-A3B-Thinking, un modèle multimodal innovant capable d’exécuter un raisonnement complexe sur documents, graphiques et vidéos tout en activant seulement 3 milliards de paramètres par token. Cette prouesse technique repose sur une architecture Mixture of Experts (MoE) totalisant 30 milliards de paramètres, mais qui n’en utilise qu’une fraction à chaque étape, offrant ainsi un compromis inédit entre performance et efficacité.

Une architecture Mixture of Experts pour un raisonnement multimodal efficace

ERNIE-4.5-VL-28B-A3B-Thinking s’appuie sur la famille ERNIE-4.5-VL-28B-A3B, combinant texte et vision via un design hétérogène MoE. Chaque token active environ 3 milliards de paramètres sur un total de 30 milliards, grâce à un routage A3B intelligent. Cette approche permet de maintenir une capacité de raisonnement élevée tout en réduisant drastiquement les besoins en calcul et mémoire, ce qui facilite le déploiement en production.

Le modèle bénéficie d’une phase d’entraînement intermédiaire dédiée au raisonnement visuel et linguistique, améliorant l’alignement sémantique entre images et texte. Cette étape cible particulièrement la compréhension fine des textes denses dans les documents et des structures complexes dans les graphiques. Par ailleurs, un apprentissage par renforcement multimodal avec des stratégies GSPO, IcePop et un échantillonnage dynamique de la difficulté stabilise l’entraînement et pousse le modèle à mieux gérer les exemples complexes.

Des capacités avancées pour l’analyse de documents, graphiques et vidéos

Le cœur du modèle repose sur la fonctionnalité "Thinking with Images" qui permet d’explorer des régions spécifiques d’une image, de raisonner sur des vues recadrées, puis d’intégrer ces observations locales dans une réponse globale. Cette méthode améliore la précision dans l’analyse de graphiques et la compréhension visuelle. En complément, ERNIE-4.5-VL-28B-A3B-Thinking peut utiliser des outils externes, comme la recherche d’images, pour enrichir ses connaissances lorsque les données internes sont insuffisantes.

Les chercheurs de Baidu positionnent ce modèle comme un moteur léger de raisonnement multimodal capable d’égaler les performances des modèles phares du secteur sur des benchmarks internes, notamment en analyse de graphiques analytiques, résolution de problèmes STEM, ancrage visuel avec délimitations JSON et localisation vidéo avec réponses horodatées.

Un modèle open source et déployable pour des applications commerciales

Distribué sous licence Apache 2.0, ERNIE-4.5-VL-28B-A3B-Thinking est accessible via les frameworks Transformers, vLLM et FastDeploy. Il peut être affiné avec ERNIEKit en utilisant des techniques comme SFT, LoRA et DPO, ce qui facilite son intégration dans des solutions multimodales commerciales. Cette flexibilité ouvre la voie à des applications concrètes dans l’analyse documentaire, la vision par ordinateur et la compréhension vidéo à grande échelle.