MAI-Base-2 gagne en efficacité et vise la prochaine génération de modèles Microsoft

Microsoft a annoncé le 15 octobre avoir achevé le pré-entraînement de MAI-Base-2, son nouveau modèle de fondation, après 38 jours sur 16 000 GPU Nvidia GB200. Le groupe affirme avoir nettement réduit le coût de calcul par rapport à plusieurs modèles concurrents, tout en préparant un socle pour ses prochaines versions. Derrière l’annonce, l’enjeu est simple : produire des modèles plus gros, mais surtout plus efficaces. Ce n’est pas qu’une course aux GPU, même si la facture électrique, elle, n’a rien d’un détail.

Un modèle plus grand, mais surtout plus sobre en calcul

MAI-Base-2 repose sur une architecture à experts mixtes, ou MoE pour Mixture of Experts : seuls certains sous-modèles sont activés à chaque requête. Microsoft indique que l’ensemble compte 2 800 milliards de paramètres, dont 80 milliards actifs. Selon ses mesures, le modèle nécessite entre 4,2 et 12,3 fois moins d’opérations en virgule flottante que DeepSeek-V4-Pro-Base pour atteindre des niveaux de performance comparables sur plusieurs évaluations.

L’éditeur ajoute que l’efficacité de calcul progresse d’un facteur de 6,3 à 12,7 par rapport à MAI-Base-1. En clair, Microsoft ne s’est pas contenté d’empiler des paramètres ; il a cherché à mieux utiliser chaque accélérateur, ce qui compte autant que la taille brute dans une infrastructure distribuée de cette ampleur.

Pourquoi Microsoft mise autant sur l’architecture

Pour améliorer les performances, l’entreprise dit avoir travaillé à la fois sur l’architecture, les algorithmes d’entraînement et l’infrastructure matérielle. La répartition des experts a été optimisée pour limiter les déséquilibres de charge, et l’utilisation effective des capacités de calcul des couches MoE est passée de 24 % à 35 % selon les chiffres communiqués. Le modèle a pu appliquer cette architecture à chaque couche.

Microsoft a aussi adopté Muon, un optimiseur censé stabiliser l’entraînement et faire mieux qu’AdamW dans certains contextes. Après optimisation, Muon représente 2,1 % du temps moyen d’une itération d’entraînement. Pendant l’apprentissage de MAI-Base-2, l’utilisation moyenne des capacités théoriques de calcul des GPU a atteint 21 %, tandis que l’entraînement progressait effectivement 89 % du temps. Dit autrement : beaucoup de métal, beaucoup de logiciels, et encore pas mal de marges à gratter.

Des données plus larges, plus propres et plus visuelles

La qualité du corpus a également été retravaillée. Microsoft dit avoir augmenté d’environ 36 % le volume de données d’entraînement uniques par rapport à MAI-Base-1, avec davantage de déduplication, de classification et de sélection des contenus. Le jeu de données total atteint 50 000 milliards de tokens, dont 18 % liés à des données vision-langage.

Le modèle a été pré-entraîné nativement avec des capacités de traitement d’images, selon une architecture de modèle vision-langage, ou VLM. L’éditeur cite des usages pour la compréhension de graphiques, le raisonnement spatial, l’analyse de documents, l’informatique médicale et l’interaction avec des interfaces. Microsoft affirme aussi que le corpus repose sur des données collectées et traitées en interne, sans distillation d’autres modèles, et qu’il s’appuie sur un robot d’indexation respectant le fichier robots.txt.

Ce que Microsoft prépare maintenant

L’objectif, à ce stade, est aussi industriel que technique : contrôler la chaîne complète, des données jusqu’à l’infrastructure, pour ajuster modèles et systèmes d’exécution en même temps. Microsoft prévoit de proposer les poids de ses modèles à des partenaires de confiance via Microsoft Foundry, afin de faciliter leur intégration dans des applications et des environnements informatiques d’entreprise.

Les modalités exactes restent à préciser : calendrier, licence et ressources nécessaires au déploiement de MAI-Base-2 ne sont pas détaillés. L’éditeur indique toutefois que le modèle est déjà en post-entraînement, une étape qui sert à l’adapter à des tâches concrètes, et qu’un MAI-Base-3 est déjà en préparation. La suite dira si la promesse d’efficacité tient aussi bien dans les usages réels que dans les tableaux de benchmarks.