Kimi K2 Thinking : l’agent IA open source qui repousse les limites du raisonnement long terme

Moonshot AI a lancé Kimi K2 Thinking, un agent de réflexion open source conçu pour gérer des séquences longues de décisions complexes sans supervision humaine constante. Ce modèle innovant combine raisonnement étape par étape et invocation dynamique d’outils, permettant d’enchaîner lecture, réflexion et appels fonctionnels sur plusieurs centaines d’étapes. Sa capacité à maintenir un comportement cohérent sur 200 à 300 appels d’outils successifs marque une avancée majeure dans le domaine des agents intelligents.

Une architecture Mixture of Experts à la pointe pour un raisonnement étendu

Kimi K2 Thinking repose sur l’architecture Kimi K2 Mixture of Experts (MoE) comptant un trillion de paramètres au total, avec 32 milliards activés par token. Le modèle comprend 61 couches, dont 384 experts dont 8 sont sélectionnés par token, et une fenêtre contextuelle exceptionnelle de 256 000 tokens. Cette conception multi-experts, associée à une attention multi-tête latente et à la fonction d’activation SwiGLU, permet d’optimiser la gestion de contextes très longs et d’assurer une réflexion approfondie sur des tâches complexes.

Optimisation pour le test time scaling et performances sur benchmarks

Contrairement aux modèles classiques qui limitent la chaîne de pensée à un nombre fixe d’étapes, K2 Thinking est entraîné pour étendre sa profondeur de raisonnement et la fréquence d’utilisation d’outils en fonction de la difficulté des tâches. Sur des benchmarks exigeants comme Humanity’s Last Exam, le modèle atteint un score de 51.0 en mode intensif avec outils, tandis qu’il excelle aussi en programmation avec des scores supérieurs à 80 sur LiveCodeBenchV6. Cette capacité à gérer jusqu’à 300 étapes avec des budgets de tokens élevés illustre son aptitude à des scénarios d’usage prolongés et complexes.

Quantification INT4 native pour une efficacité accrue

Le modèle est entraîné avec une quantification aware training en INT4, réduisant la latence et la consommation mémoire GPU tout en conservant des performances de pointe. Cette optimisation double la vitesse de génération en mode basse latence, rendant K2 Thinking particulièrement adapté aux déploiements en production. Les poids sont stockés en format compressé, compatibles avec des formats plus précis comme FP8 ou BF16, et peuvent être exploités via des moteurs d’inférence recommandés tels que vLLM ou KTransformers.