Deux modèles ouverts convergent sur le même design d’attention

Z.ai et Alibaba ont publié à un jour d’écart GLM-5.3-Flash et Qwen3.8-Flash-Next, deux modèles ouverts de très grande taille qui convergent sur presque toute leur architecture. Le premier compte 320 milliards de paramètres, avec 18 milliards actifs par jeton ; le second affiche 125 milliards de paramètres, dont 6 milliards activés. Ce rapprochement compte parce qu’il montre qu’une partie du marché des grands modèles semble s’aligner sur une même recette technique, tandis qu’un point reste débattu: faut-il encore conserver RoPE, l’encodage positionnel rotatif classique des Transformers ?

Une même recette, deux implémentations

Les deux équipes disent avoir travaillé indépendamment. Pourtant, leurs configurations se ressemblent presque trait pour trait. GLM-5.3-Flash empile 45 couches, dont 34 en attention linéaire et 11 en attention complète ; Qwen3.8-Flash-Next en aligne 48 selon un schéma répété de 3 couches Gated DeltaNet et 1 couche Qwen Sparse Attention. Le ratio est donc identique : trois couches « légères » pour une couche chargée du rappel long terme.

Dans les deux cas, l’idée est simple. Les couches linéaires condensent l’historique dans un état récurrent fixe, au lieu de faire grossir un cache KV avec la longueur du contexte. Résultat : le coût par jeton reste stable, même quand le texte s’allonge. Z.ai utilise Kimi Delta Attention, un mécanisme de décroissance par canal ; Qwen s’appuie sur Gated DeltaNet, avec un contrôle par tête. Le vocabulaire change, mais la logique reste la même.

Les couches d’attention complète servent, elles, à la récupération fine à longue portée. GLM adopte une attention latente de type MLA sans RoPE dans ces couches, tandis que Qwen garde une attention groupée via QSA. C’est aussi là que les deux modèles partagent un autre choix discret : limiter fortement la partie « coûteuse » de l’attention, au lieu de la laisser parcourir tout le contexte.

Le contexte est compressé avant d’être trié

Ni GLM ni Qwen ne laissent leurs couches d’attention complète parcourir l’ensemble du texte. Les deux modèles attachent un indexeur léger qui note des blocs d’historique puis ne conserve que les meilleurs. Dans les deux cas, le contexte est compressé par quatre avant le tri, et le budget d’attention est plafonné à 2 048 jetons.

Chez Z.ai, l’indexeur de GLM repose sur 32 têtes et sur une sélection top-2048, avec un module nommé IndexPool pour réduire le coût de calcul sur des contextes d’un million de jetons. Qwen, de son côté, fait scorer des micro-blocs de 4 jetons, en garde 512, soit exactement 2 048 jetons. L’équipe annonce jusqu’à 7,6 fois plus de rapidité en préremplissage et 4,9 fois en décodage à 1 million de jetons, comparé à une attention complète.

Le gain annoncé côté GLM est plus large encore. Z.ai dit que l’architecture Flash réduit d’environ 3 fois le calcul d’attention et de 4,4 fois la taille du cache KV par rapport à GLM-5.3 complet, tout en divisant presque par deux les paramètres actifs et le nombre de couches. Pour les exploitants de modèles, cela veut dire moins de mémoire, moins de facture, et un peu moins de sueurs froides au moment du déploiement.

Quatre branches résiduelles au lieu d’une

Autre point commun, moins visible mais tout aussi structurant : les deux modèles abandonnent la chaîne résiduelle unique des Transformers classiques au profit de quatre branches parallèles. Chaque bloc lit et réécrit l’information via des portes qui filtrent les flux. C’est une façon de mieux contrôler ce qui circule dans le réseau, sans laisser tout passer comme dans un couloir un peu trop optimiste.

GLM utilise Manifold-Constrained Hyper-Connections, une conception issue de DeepSeek, configurée ici avec 4 branches. Qwen a développé sa propre variante, Gated Residual, avec une porte de lecture dépendante des données et une porte d’écriture scalaire par branche. Selon l’équipe Qwen, ce choix supprime une étape supplémentaire de mélange des branches et réduit les accès mémoire. Les tests internes disent aussi que cette variante et Hyper-Connections se valent à peu près en qualité [à vérifier].

Muon, mais sans le paquetage d’origine

Les deux équipes ont également retenu Muon, un optimiseur qui cherche à stabiliser l’entraînement en orthogonalisant certaines matrices. La subtilité, ici, tient dans la préparation des poids : les matrices fusionnées sont d’abord séparées en transformations distinctes avant le passage dans Muon. Qwen précise avoir éclaté ses projections QKV, SwiGLU et GDN, puis réservé AdamW aux embeddings, aux routeurs et aux paramètres de faible rang.

Le rapport technique de Qwen ajoute un autre détail utile au déploiement : l’équipe a recalibré ses lois d’échelle pour cette architecture et supprimé le warmup de batch-size. Selon ses mesures, cette phase coûtait 18,8 % d’étapes d’optimisation supplémentaires sans améliorer le résultat. Dans ce contexte, le modèle ne fait pas juste « tourner plus vite » ; il apprend aussi à éviter certains rituels d’entraînement devenus un peu décoratifs.

RoPE ou pas RoPE ? Là, la photo se sépare

Le principal désaccord entre les deux équipes concerne l’encodage positionnel. GLM-5.3-Flash supprime RoPE dans ses couches d’attention complète : la configuration fixe qk_rope_head_dim à 0, ce qui revient à une architecture NoPE. L’information de position passe alors implicitement par les couches linéaires récurrentes.

Qwen a testé la même idée, puis a gardé RoPE. D’après son rapport technique, l’absence d’encodage positionnel n’a rien changé de visible pendant le pré-entraînement, mais le problème est apparu après coup : la variante NoPE finissait souvent par ne plus s’arrêter de générer pendant la phase post-entraînement. C’est une piqûre de rappel assez nette pour le secteur : des courbes de perte propres ne garantissent pas un comportement propre une fois le modèle ajusté par RLHF ou autres étapes de tuning.

Une convergence plus large, avec un dissident de taille

Cette convergence ne s’arrête pas à Z.ai et Alibaba. DeepSeek a déjà poussé le couple « indexeur sparse + budget de 2 048 jetons » dans DeepSeek-V3.2-Exp, tandis que Moonshot a apporté Kimi Delta Attention, repris ici par GLM. Autrement dit, plusieurs labos chinois d’open models réutilisent et combinent des briques d’architecture voisines, au lieu de repartir de zéro à chaque génération.

MiniMax fait toutefois figure de contre-exemple. Pendant le développement de M2, l’équipe dit avoir testé à grande échelle l’attention linéaire et l’attention à fenêtre glissante, avec de fortes baisses sur le raisonnement multi-sauts, surtout au-delà de 32K de contexte après SFT. M2 a donc conservé une attention softmax complète partout. Pour M3, MiniMax a choisi MiniMax Sparse Attention, qui clairseme l’attention softmax par sélection de blocs, sans couche linéaire du tout. La question n’est donc pas tranchée : pour certains stacks, la recette 3:1 semble tenir ; pour d’autres, elle casse le raisonnement. [à vérifier]