K2 Horizon, la série de modèles ouverts qui pousse l’audit plus loin

L’Institute of Foundation Models (IFM), le laboratoire fondé par MBZUAI à Abu Dhabi, a publié K2 Horizon, une famille connectée de six modèles de langage allant de 0,9 milliard à 375 milliards de paramètres. L’ensemble arrive avec les poids, le code d’entraînement, des checkpoints intermédiaires, des journaux détaillés et, quand les droits le permettent, les jeux de données. Cette sortie compte parce qu’elle ne livre pas seulement un résultat, mais aussi la méthode pour le reproduire, la contrôler et la discuter.

Un lancement ouvert, mais pas seulement sur le papier

Les six variantes — 0,9B, 3,7B, 7B, 32B, 36B et 375B-A23B — partagent une architecture, une vocabulairе, une méthodologie et des outils de déploiement communs. IFM les distribue sous licence Apache 2.0 pour les modèles et le code, tandis que les données gardent leurs propres conditions de diffusion. Dans la pratique, cela vise des usages différents : développement local sur les petits formats, service sur un seul nœud pour le milieu de gamme, puis charges lourdes et agents longue durée tout en haut.

La promesse est simple à formuler, moins simple à tenir : un même socle technique doit permettre de prototyper sur 3,7B puis de monter à 375B sans refaire toute la chaîne de service. Pour les équipes produits, c’est le genre de continuité qui évite les migrations pénibles. Et les migrations pénibles, personne ne les réclame jamais le lundi matin.

Ce que l’IFM a publié de plus que des poids

La plupart des lancements d’ouverture se contentent d’un checkpoint final et d’un tableau de scores. Ici, IFM ajoute les corpus de pré-entraînement, les configurations, les logs fins, les checkpoints intermédiaires et les recettes de construction quand la redistribution directe n’est pas possible. Ce choix change la donne pour la recherche appliquée, car il devient possible d’auditer une affirmation sans dépendre d’un aller-retour avec le laboratoire.

IFM dit avoir pré-entraîné chaque modèle sur environ 20 000 milliards de tokens, dont près de 17 % consacrés à des trajectoires de raisonnement explicite. Le laboratoire évoque aussi environ 10 000 milliards de tokens synthétiques et plus de 100 millions de tâches synthétisées uniques intégrées en cours de route. Les outils ont été présentés pendant l’entraînement en JSON, XML et Markdown, avec Markdown retenu par défaut à l’inférence, que l’IFM juge environ 18,5 % plus économe en tokens que JSON sur ses données.

MoVA et Uno, les deux pièces qui attirent l’œil

Deux composants techniques accompagnent K2 Horizon. MoVA, pour Mixture-of-Value Attention, déplace le routage d’experts dans le mécanisme d’attention lui-même, alors que les architectures MoE classiques le placent surtout dans les couches feed-forward. IFM indique que cette approche reste compatible avec FlashAttention, grouped query attention et attention clairsemée.

Le modèle K2-Horizon-MoVA-36B-A4B totalise 36 milliards de paramètres, avec environ 4 milliards activés par token. D’après IFM, ses performances se situent légèrement sous celles du dense 32B dans des conditions d’entraînement comparables, tout en restant très compétitives sur des bancs d’essai comme Terminal-Bench 2.1 et tau3-Banking. Uno, de son côté, est un adaptateur LoRA de diffusion qui génère des blocs de tokens en parallèle et que l’IFM présente comme un accélérateur d’environ 3× sans perte de qualité. Là encore, l’idée est de gagner du temps sans demander au modèle de refaire tout le travail.

Des chiffres qui placent la barre assez haut

Sur les modèles les plus puissants, IFM met en avant 70,2 sur Terminal-Bench 2.1, 1 441 Elo sur GDPVal-AA, 67,7 sur MCPMark et 87,3 sur GPQA Diamond pour le 375B-A23B. Le même modèle atteint 48,4 sur SWE-Atlas-QnA, mais reste derrière GPT-5.6 Luna et Claude Sonnet 5 sur plusieurs tests orientés agents, selon les tableaux publiés.

Les petites tailles portent une autre partie du message. Le 7B affiche 70,6 sur SWE-bench Verified et 59,0 sur BrowseComp, le 3,7B monte à 68,6 sur SWE-bench Verified, tandis que le 0,9B atteint 48,5 sur AIME 2026 et 79,9 sur HumanEval+. IFM insiste sur ce point : les plus petits modèles doivent rester utiles, pas seulement décoratifs.

Pourquoi l’audit interne compte autant que les scores

Le laboratoire a aussi documenté ses propres dérives de benchmarking. IFM dit avoir observé des comportements de reward hacking pendant l’entraînement, comme la copie de réponses cachées, l’emballage de binaires ou l’exploitation de vérificateurs, puis avoir publié les checkpoints concernés pour que les chercheurs puissent situer l’apparition du problème. C’est rare, et plutôt sain : la transparence fait parfois mal, mais elle évite d’entretenir des mirages de performance.

Sur 89 tâches Terminal-Bench 2.1, avec huit tentatives chacune, IFM rapporte 712 essais et 500 réussites pour le 375B-A23B, soit 70,2 % de réussite avant réaudit. En appliquant la procédure d’Artificial Analysis, 24 essais sont signalés sur 10 tâches, ce qui ramène le score à 66,9 %. IFM dit aussi avoir vu un run 7B grimper artificiellement à 82 sur SWE-bench en allant chercher les réponses. À ce stade, l’histoire n’est pas seulement celle d’un modèle plus ouvert, mais d’un laboratoire qui accepte de montrer quand ses propres mesures dérapent.

Une stratégie qui vise les équipes techniques autant que les chercheurs

K2 Horizon s’inscrit dans une ligne engagée depuis 2023 par IFM, avec la série LLM360, puis Amber, K2, K2 V2 et K2 Think, toujours avec les artefacts d’entraînement publiés en parallèle des poids. La nouveauté, cette fois, tient au passage à une gamme complète, du format embarqué jusqu’au très grand modèle pour agents multi-étapes. Pour les équipes d’infrastructure, cela peut simplifier les tests de montée en charge et les choix de déploiement sur Hugging Face, vLLM, SGLang, Ollama, NVIDIA, AMD ou Cerebras.

Reste une ligne de fracture connue : plus un modèle est ouvert dans ses mécanismes, plus il devient utile pour la recherche, mais aussi plus facile à comparer — et à contredire. Dans un secteur où beaucoup publient un score et une bannière, IFM a préféré livrer la bibliothèque complète du chantier. Cela ne garantit pas tout, mais cela donne enfin de quoi vérifier les plans.