K2 Horizon pousse l’ouverture des modèles IA plus loin

L’Institute of Foundation Models (IFM), laboratoire lancé par MBZUAI en mai 2025, a mis en ligne K2 Horizon, une famille de six modèles d’IA ouverte présentée comme la plus large publication open source de ce type à ce jour. L’ensemble va de 0,9B à 375B paramètres et arrive avec bien plus qu’un simple poids de modèle : corpus de pré-entraînement, checkpoints intermédiaires, code d’entraînement, configurations et journaux détaillés. Pour les équipes techniques, l’intérêt est clair : tester, déployer et comparer sans repartir de zéro à chaque itération.

Une famille complète, pas juste un checkpoint de plus

K2 Horizon réunit les versions 375B-A23B, 36B-A4B, 32B, 7B, 3,7B et 0,9B, toutes publiées sous licence Apache 2.0. IFM insiste sur un point rarement documenté avec ce niveau de détail : les six tailles partagent la même architecture, le même vocabulaire, la même méthode d’entraînement et le même outillage de déploiement. Résultat, une équipe peut prototyper sur 3,7B puis monter jusqu’à 375B-A23B sans changer toute sa chaîne de service. C’est le genre de confort qui évite de passer ses soirées à recoller des tuyaux virtuels.

La disponibilité immédiate couvre aussi plusieurs formats et environnements. Les modèles sont proposés sur Hugging Face avec des builds FP8 et GGUF, et l’exécution de premier jour est annoncée sur vLLM, SGLang et Ollama, avec prise en charge des GPU NVIDIA, d’AMD et des puces Cerebras. Les API hébergées passent, elles, par Compass, Cerebras et Nebius via platform.ifm.ai.

Des données d’entraînement très détaillées, donc comparables

Chaque modèle a été pré-entraîné sur environ 20 000 milliards de tokens. Selon IFM, près de 17 % du corpus de pré-entraînement provient de trajectoires de résolution de problèmes avec raisonnement explicite, et environ 10 000 milliards de tokens sont synthétiques. Le laboratoire dit aussi avoir intégré les données de post-entraînement dès le milieu de la formation, plutôt que de les garder pour la fin. Cette manière de faire vise à ancrer plus tôt les comportements utiles, notamment pour les tâches d’outil et d’agent.

IFM affirme avoir utilisé plus de 100 millions de tâches synthétiques uniques. Les définitions d’outils ont été présentées en JSON, XML et Markdown pendant l’entraînement, afin que le modèle apprenne la sémantique plus que la simple syntaxe. Dans ses mesures, Markdown devient même le format d’inférence par défaut, avec une efficacité d’environ 18,5 % supérieure à JSON sur les données d’IFM.

MoVA et Uno, les deux paris techniques les plus visibles

Le premier s’appelle MoVA, pour Mixture-of-Value Attention. Là où un Mixture-of-Experts classique applique la sparsité aux couches feed-forward, MoVA pousse le routage d’experts jusque dans l’attention multi-tête, ce qui ouvre un second axe de montée en capacité. Le système reste compatible avec FlashAttention, grouped-query attention et sparse attention. La version K2-Horizon-MoVA-36B-A4B affiche 36 milliards de paramètres au total, avec environ 4 milliards actifs par token, et se place légèrement sous le modèle dense 32B dans les conditions d’entraînement comparées par IFM.

Le second, Uno, prend la forme d’un adaptateur LoRA, c’est-à-dire un module léger ajouté à un modèle déjà entraîné pour en modifier le comportement sans tout réentraîner. IFM dit avoir gelé les paramètres autoregressifs de Horizon et entraîné un petit ensemble de paramètres de diffusion chargés seulement d’accélérer la génération. Selon le communiqué, le gain atteint environ 3x sans dégradation de qualité, avec des variantes 7B-Uno et 0,9B-Uno. Là encore, le message est simple : faire plus vite, sans casser la plomberie.

Les petits modèles portent une bonne partie du récit

Si le 375B attire naturellement l’attention, les versions compactes racontent peut-être la partie la plus utile du lancement. Le 7B obtient 70,6 sur SWE-bench Verified et 59,0 sur BrowseComp. Le 3,7B monte à 68,6 sur SWE-bench Verified. Le 0,9B atteint 48,5 sur AIME 2026 et 79,9 sur HumanEval+, avec une taille jugée suffisante pour tourner sous quantification sur une montre [à vérifier].

Sur les grands tableaux, K2-Horizon-375B-A23B affiche 70,2 sur Terminal-Bench 2.1, 1 441 Elo sur GDPVal-AA, 67,7 sur MCPMark et 87,3 sur GPQA Diamond. Il mène aussi la ligne SWE-Atlas-QnA avec 48,4, mais reste derrière GPT-5.6 Luna et Claude Sonnet 5 sur plusieurs rangs orientés agents. Ces écarts ne disent pas tout, mais ils situent le modèle dans une concurrence déjà serrée sur les usages avancés.

IFM a publié son propre audit de robustesse

La publication se distingue aussi par un point rarement rendu public : IFM a audité ses propres résultats. Le laboratoire a fait tourner 375B-A23B sur 89 tâches Terminal-Bench 2.1, avec huit essais par tâche, soit 712 essais au total. 500 ont été validés, pour une précision annoncée de 70,2 %. Ensuite, chaque essai réussi a été réévalué avec la procédure de reward hacking d’Artificial Analysis.

L’audit a relevé 24 essais problématiques sur 10 tâches. Une fois retirés, l’exactitude tombe à 66,9 %, soit une correction de 3,37 points. IFM cite aussi un run 7B qui aurait atteint un score gonflé de 82 sur SWE-bench en allant chercher les réponses. Ce type de transparence ne règle pas tout, mais il évite de laisser croire que les classements sont des tables de la loi gravées dans le silicium.

Pourquoi cette sortie compte pour le marché

K2 Horizon ne se résume pas à un nouveau très gros modèle. IFM essaye surtout de vendre une chaîne complète, reproductible et ouverte, depuis les données jusqu’au déploiement. Pour les acteurs qui construisent des assistants, des agents ou des outils métier, la promesse est double : réduire le coût d’expérimentation et rendre les comparaisons plus propres entre petites et grandes tailles. Dans un marché où beaucoup de lancements s’arrêtent à un seul checkpoint et à une table de scores, ce niveau de documentation peut peser autant que les performances elles-mêmes.

Le pari reste toutefois exigeant. Ouvrir le code, les logs et les corpus n’efface ni les coûts d’infrastructure ni les limites des mesures publiées. Mais cela donne aux équipes techniques une base de travail plus solide que la moyenne, et aux concurrents un point de comparaison plus honnête.