Gemini 4 Argon se heurte aux tests qui comptent vraiment

Gemini 4 Argon, le modèle de Google ouvert aux développeurs payants depuis le 13 octobre 2026, promettait un meilleur rapport qualité-prix face à Claude Opus 5.5. Des essais indépendants publiés le 18 octobre montrent pourtant qu’il ne tient pas la route sur toutes les tâches, même s’il peut rivaliser sur certains tests de code. Le sujet compte car les écarts entre benchmarks et usage réel pèsent directement sur le choix des équipes produit. Et sur la facture, le delta n’est pas un détail.

Quand le prix baisse, la confiance ne suit pas toujours

Google affichait déjà l’argument commercial au moment du lancement : Gemini 4 Argon coûte 2 dollars par million de tokens d’entrée et 10 dollars par million de tokens de sortie jusqu’au 30 novembre, puis 4 dollars et 20 dollars à partir du 1er décembre, soit le même niveau que Claude Opus 5.5. Selon le test publié par Jessica Wachtel, Argon devance Opus sur 14 benchmarks sur 18 annoncés par Google, mais perd sur quatre autres, dont Terminal-bench 4.0, qui évalue le travail agentique en ligne de commande. En clair, l’écart de prix ne suffit pas à faire oublier les écarts de comportement.

Les tests menés via OpenRouter sur les serveurs des deux éditeurs ont porté sur trois exercices : une chasse aux bogues dans une bibliothèque Python de 3 500 lignes, une spécification de facturation avec tests cachés, et un faux wiki de 400 services pour mesurer le raisonnement sur long contexte. Résultat : Argon et Opus ont fait jeu égal sur la chasse aux bogues, mais la comparaison s’est vite tendue dès qu’il a fallu tenir un raisonnement plus stable. Le modèle de Google a parfois eu la rapidité d’un stagiaire très sûr de lui. Ce n’est pas toujours rassurant.

Un bon code review ne suffit pas

Sur la chasse aux bogues, les deux modèles ont trouvé les 14 erreurs introduites dans le code, sans faux positifs, puis les ont corrigées sans casser les 93 tests existants. Argon a même été moins coûteux : 0,15 dollar pour la revue contre 0,34 dollar pour Opus, puis 0,35 dollar pour la correction contre 0,95 dollar. Jessica Wachtel note aussi qu’Argon a utilisé moins de tokens, ce qui l’aide à rester moins cher même au tarif plein prévu en décembre.

Mais le tableau change sur la spécification de facturation. Là, Opus a validé 80 tests cachés sur 80, puis 100 sur 100 après l’ajout d’une deuxième devise. Argon, lui, n’a passé que 11 tests sur 80, puis 20 sur 100. La cause initiale tenait à une seule erreur dans l’appel à datetime.combine(), mais l’effet domino a plombé l’ensemble du module. Le modèle n’était donc pas “mauvais” partout ; il a surtout cassé la mécanique au mauvais endroit.

Le long contexte, le vrai juge de paix ?

C’est sur le faux wiki de 400 services qu’Argon décroche le plus franchement. Opus a identifié les 33 services touchés par une panne sur les jeux de données de 500K et 600K tokens, avec zéro erreur au premier test et une seule au second. Argon, lui, n’a trouvé que 20 services corrects et 8 faux positifs sur le premier jeu, puis 19 corrects et 16 faux positifs sur le second. Sur un troisième corpus d’environ 900K tokens, il a encore répondu de travers, alors qu’Anthropic a refusé d’exécuter le sien au-delà d’un million de tokens.

Jessica Wachtel souligne aussi que le modèle de Google a répondu très vite, avec peu de raisonnement visible, tandis qu’Opus prenait davantage de temps pour structurer sa réponse. Les chiffres vont dans ce sens : sur le test à 500K tokens, Argon a consommé 549 483 tokens d’entrée et 264 de sortie pour 1,10 dollar, contre 784 087 tokens d’entrée et 5 532 de sortie pour 3,25 dollars chez Opus. À 600K tokens, Argon est resté moins cher, mais ses réponses sont restées inexactes. Le gain de vitesse a donc un prix caché : celui de la fiabilité.

Au final, le débat ne porte pas seulement sur la puissance brute, mais sur la manière dont un modèle encaisse les tâches du quotidien technique : revue de code, logique métier, mémoire longue, robustesse. Argon peut être bon marché et convaincant sur un exercice ciblé, sans pour autant devenir une option de confiance générale pour les équipes qui veulent éviter les surprises en production. C’est là que la jolie courbe de benchmark cesse de faire la loi.