Kimi K3 : un modèle open source à 2,8 trillions de paramètres pour le traitement longue portée

Kimi K3, lancé par Moonshot AI, est un modèle de langage massif à 2,8 trillions de paramètres, présenté comme le premier modèle open source de cette échelle. Conçu pour gérer des contextes très longs jusqu’à un million de tokens, il intègre nativement la vision et cible des usages complexes comme la programmation à grande échelle, la recherche approfondie et le raisonnement. Cette avancée marque une étape importante dans l’accessibilité des modèles ultra-larges, jusque-là dominés par des solutions propriétaires.

Quand la taille rime avec innovation technique

Kimi K3 repose sur une architecture sparse Mixture-of-Experts (MoE) qui active 16 experts sur 896, optimisant ainsi l’efficacité. Deux innovations clés structurent ce modèle : Kimi Delta Attention (KDA), un mécanisme d’attention hybride linéaire accélérant le décodage jusqu’à 6,3 fois sur de très longs contextes, et Attention Residuals (AttnRes), qui améliore la récupération d’informations en profondeur avec une efficacité d’entraînement accrue de 25 % pour un coût marginal. Ces mécanismes, combinés à des techniques avancées de routage et d’optimisation, permettent à K3 d’atteindre une meilleure échelle que son prédécesseur Kimi K2, avec un gain d’efficacité global d’environ 2,5 fois.

Des performances solides face aux géants propriétaires

Malgré sa nature open source, Kimi K3 affiche des résultats compétitifs sur plusieurs benchmarks. Il surpasse notamment d’autres modèles ouverts sur des tests comme Program Bench, SWE Marathon, BrowseComp, Automation Bench et OmniDocBench. En revanche, il reste derrière les modèles propriétaires Claude Fable 5 et GPT 5.6 Sol sur certains benchmarks spécialisés comme FrontierSWE et DeepSWE. Ces résultats illustrent un équilibre entre accessibilité et puissance, avec K3 qui s’impose comme une référence dans la sphère open source.

Applications concrètes et accessibilité

Le modèle s’adresse à des cas d’usage variés : ingénierie logicielle à grande échelle avec de longues sessions sans supervision humaine, intégration de la vision dans les boucles de codage, reproduction de recherches complexes et analyse documentaire multimodale. Kimi K3 est accessible via l’API Moonshot compatible OpenAI SDK, avec une tarification basée sur le volume de tokens traités et un taux de cache supérieur à 90 % dans les charges de travail de programmation, ce qui optimise les coûts.