Le 4 bits gagne du terrain dans l’entraînement des grands modèles
Thinking Machines détaille un entraînement de modèle en 4 bits de bout en bout sur GB300. L’enjeu n’est pas seulement la vitesse : il faut contenir l’erreur de quantification sans casser l’apprentissage.
Thinking Machines Lab explique comment il a entraîné Inkling 2 Small, un modèle de langage, avec un passage en 4 bits au cœur du calcul sur des GPU NVIDIA GB300. L’objectif est simple à énoncer, plus difficile à tenir : accélérer l’entraînement et réduire la mémoire utilisée sans dégrader la qualité du modèle. Selon la note publiée en novembre 2026, la méthode apporte jusqu’à 8 % de gain en temps de préentraînement et 20 % en renforcement par rapport à un entraînement full MXFP8.
Pourquoi le 4 bits intéresse autant les laboratoires
Réduire la précision d’un calcul diminue la taille des données et accélère les multiplications matricielles, mais augmente les erreurs d’arrondi. Dans les grands modèles de langage, ces erreurs s’additionnent au fil des couches et des étapes d’optimisation. C’est là que le sujet devient concret pour les acteurs de l’IA : moins de bits, c’est moins de mémoire, moins de bande passante, et parfois plus de débit. Mais aussi un risque plus élevé de casser l’apprentissage si la quantification est trop agressive.
Dans cette approche, l’équipe distingue trois formats : BF16, MXFP8 et NVFP4. Le BF16 sert de référence plus précise ; le MXFP8 occupe un entre-deux ; le NVFP4, format 4 bits, est le plus rapide sur GB300 mais aussi le plus délicat à manier. La note indique que NVFP4 stocke 3,6 fois moins de bits que BF16 et peut aller jusqu’à 6 fois plus vite sur GB300. La vitesse a donc un prix. Comme souvent, le calcul ne ment pas, il facture juste plus tard.
Le piège des zéros qui arrivent en groupe
Le cœur du problème tient à la quantification par blocs. NVFP4 utilise des blocs de 16 valeurs, avec un facteur d’échelle qui permet de reconstruire des nombres plus grands que ce que les 4 bits autorisent directement. Ce système marche bien tant que les valeurs d’un bloc restent proches. Dès qu’un outlier apparaît, il peut tirer l’échelle vers le haut et faire tomber les petites valeurs à zéro. Sur les couches de type Mixture of Experts, très coûteuses en calcul, cet effet peut vite peser sur la qualité.
Thinking Machines dit avoir testé une quantification NVFP4 plus large sur des tiles de 16×16, mais l’effet sur la compute efficiency a été jugé trop pénalisant. L’équipe a donc choisi un compromis plus subtil : utiliser NVFP4 pour certains calculs en aller, puis MXFP8 pour le retour, avec ré-quantification et stochastic rounding. Ce dernier procédé consiste à arrondir vers le haut ou vers le bas de manière probabiliste, afin de préserver la valeur moyenne. En pratique, c’est une façon de laisser une marge à l’algèbre quand elle commence à jouer du trampoline.
Un entraînement séparé entre aller, retour et communications
La stratégie n’est pas uniforme d’un bout à l’autre du pipeline. Pour le forward pass des couches MoE, Inkling 2 Small utilise NVFP4. Pour le backward pass, la note décrit un retour en MXFP8 avec ré-quantification stochastique des poids et des activations sauvegardés. L’idée est d’éviter le biais de quantification, plus problématique que le simple bruit aléatoire quand il se propage sur plusieurs étapes.
Le troisième point, souvent sous-estimé, concerne les communications GPU à GPU. Une fois les experts répartis sur plusieurs cartes, les tokens circulent via NVLink. Or le calcul NVFP4 peut devenir plus rapide que le réseau d’interconnexion, ce qui crée un goulot d’étranglement. Pour le réduire, l’équipe quantifie aussi certaines communications, puis applique une transformation de Hadamard aléatoire avant de compresser les données en S2F6, un format fixe 8 bits. Résultat annoncé : aucune dégradation mesurable de la qualité pendant l’entraînement sur cette brique précise.
Ce que cela dit du marché des GPU et des LLM
Au fond, ce texte montre une évolution nette du marché : la bataille ne se joue plus seulement sur la taille des modèles, mais sur la finesse du pipeline d’entraînement. Les laboratoires qui savent réduire la précision sans perdre trop de qualité peuvent économiser du temps machine, de l’énergie et de la bande passante. Les fabricants de GPU, eux, voient leur avantage se déplacer vers le matériel capable d’exécuter ces formats rares, avec des instructions dédiées et des kernels spécialisés.
La note souligne aussi une tendance de fond : le 8 bits n’est plus toujours la frontière psychologique, et le 4 bits entre dans des usages de production, au moins pour certaines étapes. Reste un point de vigilance : la méthode dépend fortement du matériel, des couches visées et du type de communication inter-GPU. Autrement dit, le 4 bits n’est pas un bouton magique. C’est plutôt un jeu d’équilibriste très bien payé en FLOPs.
Points clés
- Inkling 2 Small a été entraîné sur GB300 NVL72.
- NVFP4 apporte jusqu’à 6 fois plus de vitesse sur GB300.
- Le préentraînement gagne 8 % en temps, selon la note.
- Le renforcement gagne 20 % par rapport au full MXFP8.
- Le modèle a été préentraîné en 68 heures sur GB300 NVL72.
- Les experts MoE concentrent une grande partie des gains visés.
En chiffres
- 4 bits — précision utilisée pour certains calculs de forward, source Thinking Machines Lab, novembre 2026.
- 16 valeurs — taille d’un bloc NVFP4 pour l’échelle locale, source Thinking Machines Lab.
- 8 % — gain de temps en préentraînement annoncé pour les plus gros jobs.
- 20 % — gain de temps en RL face à un entraînement full MXFP8.
- 68 heures — durée de préentraînement d’Inkling 2 Small sur GB300 NVL72.