La guerre des quants GGUF s’intensifie autour de Qwen3

Un banc d’essai compare plusieurs quantifications GGUF de Qwen3-30B-A3B et Qwen3-235B-A22B. Verdict: les écarts existent, mais aucun format ne domine partout.

Les quants GGUF de Qwen3 font l’objet d’un comparatif serré qui oppose bartowski, unsloth, ikawrakow et ubergarm sur les modèles Qwen3-30B-A3B et Qwen3-235B-A22B. Selon le test publié, les résultats varient selon le matériel, le contexte et la méthode de quantification, ce qui complique le choix du « meilleur » fichier à télécharger. À ce stade, la conclusion est simple: ils sont tous plutôt bons, mais pas interchangeables. Et oui, la guerre des quants a désormais ses camps, ses graphiques et ses petites susceptibilités.

Pourquoi le choix d’un GGUF n’est plus anodin

Le billet rappelle d’abord que le terrain a changé depuis les dernières publications de TheBloke sur Hugging Face. De nouvelles architectures de modèles, des moteurs d’inférence mieux optimisés et des méthodes de quantification plus évoluées ont fait bouger les lignes. Dans ce contexte, un GGUF n’est plus seulement un fichier compact: c’est un compromis entre qualité, vitesse et mémoire disponible.

Le texte insiste aussi sur la montée en puissance de plusieurs noms devenus incontournables dans la communauté, dont bartowski et unsloth. Les recettes dites « statiques », où toutes les couches sont quantifiées de manière uniforme, ont été bousculées par des approches plus dynamiques, fondées sur des matrices d’importance et des calibrations plus fines. Résultat: deux quants de même taille peuvent désormais se comporter différemment, selon la façon dont ils ont été produits.

Des écarts réels, mais pas de vainqueur universel

Sur Qwen3-30B-A3B, les mesures montrent que les quants 4 bits restent dans une zone assez serrée. Le Q4_K_M de bartowski affiche une perplexité wiki.test.raw de 15,194468, contre 15,281833 pour le UD-Q4_K_XL d’unsloth et 15,182811 pour l’IQ4_KS d’ubergarm. Les différences existent, mais elles restent modestes à ce niveau de compression.

À plus forte compression, l’écart se creuse davantage. Sur le même modèle, le Q2_K_L de bartowski descend à 9,7 Go, tandis que le UD-Q2_K_XL d’unsloth atteint 10,1 Go et l’IQ2_M d’ubergarm 9,7 Go. Les scores de perplexité et de divergence KL varient alors plus nettement, ce qui confirme qu’un quant très compact peut conserver un comportement correct, sans pour autant rester fidèle partout aux sorties du modèle de référence.

Le comparatif sur Qwen3-235B-A22B va dans le même sens. Le Q8_0 d’ubergarm sert ici de base, avec une taille de 233 Go. Les autres variantes, comme le mix-IQ3_K à 107 Go, le Q3_K_L à 104 Go et le UD-Q3_K_XL à 97 Go, réduisent fortement l’empreinte mémoire, mais les métriques de distance au modèle original s’éloignent mécaniquement. C’est le prix à payer pour faire tenir un très gros modèle sur un matériel plus raisonnable.

La vitesse compte autant que la précision

Le test ne s’arrête pas à la qualité. Des mesures de vitesse ont été réalisées avec llama-sweep-bench, en notant toutefois l’absence probable de warmup, ce qui pénalise le premier point de mesure. Sur Qwen3-30B-A3B, le Q4_K_M de bartowski atteint autour de 2 746 tokens/s en préremplissage et 140,37 tokens/s en génération à contexte nul, tandis que le UD-Q4_K_XL d’unsloth monte à 2 771,13 tokens/s et 143,07 tokens/s dans les mêmes conditions.

Les différences restent faibles, mais elles montrent que le choix d’un quant ne se résume pas à la seule qualité théorique. Sur un serveur local, l’utilisateur peut privilégier un modèle plus rapide, surtout si la mémoire GPU ou CPU limite les options. Dans ce jeu-là, la meilleure version est souvent celle qui tient sur la machine sans transformer l’ordinateur en radiateur décoratif.

Une méthode pensée pour comparer des choses difficiles à comparer

La publication détaille sa méthodologie, avec des tests de perplexité, de KL divergence et de Δp menés sur ik_llama.cpp, ainsi que des benchmarks de vitesse effectués avec des versions distinctes de llama.cpp et de son fork. Les paramètres utilisés sont précisés, avec des contextes de 512 ou 32 768 tokens selon les cas, et des réglages de threads et de GPU adaptés aux modèles testés.

Le point intéressant, pour les développeurs et les équipes qui déploient des LLM en local, est moins de trouver un « gagnant » absolu que de comprendre où chaque format excelle. Certains quants privilégient la compacité, d’autres la stabilité des distributions de probabilité, d’autres encore la rapidité sur CPU ou sur configurations hybrides. Cette diversité explique pourquoi les discussions autour des GGUF deviennent parfois très techniques, et parfois un peu tribalement enthousiastes.

Points clés

  • Qwen3-30B-A3B et Qwen3-235B-A22B ont été comparés.
  • bartowski, unsloth et ubergarm publient des quants concurrents.
  • Le Q8_0 de 235B sert de base KLD.
  • Les tests de vitesse excluent probablement le warmup.
  • Le billet cite ik_llama.cpp@9ba36270 pour la perplexité.
  • Le modèle Q4_K_M de bartowski reste proche des autres en 30B.

En chiffres

  • 233 Go — taille du Qwen3-235B-A22B-Q8_0, base du comparatif KLD.
  • 107 Go — taille du Qwen3-235B-A22B-mix-IQ3_K.
  • 15,194468 — perplexité wiki.test.raw du Qwen3-30B-A3B-Q4_K_M.
  • 2 771,13 tokens/s — vitesse PP mesurée pour le UD-Q4_K_XL en contexte nul.
  • 9,7 Go — taille du Qwen3-30B-A3B-IQ2_M d’ubergarm.

À lire