DeepSeek devance Claude Haiku sur coût et précision dans trois tests

DeepSeek V4.1-Flash-1017, un modèle open-weight de DeepSeek accessible via API ou en téléchargement, a fait mieux que Claude Haiku 5.5 dans une série de trois tests publiés le 22 octobre 2026 par Jessica Wachtel sur The New Stack. Le modèle chinois a devancé celui d’Anthropic sur la correction d’un bug et sur un scénario de triage, tout en égalant son concurrent sur des requêtes SQL. L’écart le plus net se situe sur le coût total : 0,07 $ pour DeepSeek contre 0,30 $ pour Haiku, avec des conditions de test précises qui comptent autant que le résultat lui-même.

Trois tests, trois usages assez proches de la vraie vie

La comparaison ne porte pas sur un benchmark abstrait, mais sur des tâches que des équipes techniques rencontrent réellement. Jessica Wachtel a testé un agent de débogage Python, un lot de 20 requêtes sur une base de données fictive de plateforme CI, puis un exercice de triage de 400 rapports d’erreurs développeur, soit 1 600 champs scorés. Les modèles ont été exécutés une fois chacun, via OpenRouter et sur les serveurs des éditeurs, avec des réglages par défaut. Pas de marathon de laboratoire, donc, mais un sprint assez parlant.

Sur le premier test, DeepSeek a obtenu 6 sur 6, contre 5 sur 6 pour Haiku. Les deux ont corrigé le premier et le troisième bug, évité les régressions et repéré le faux test, mais Haiku a raté un test caché lié au deuxième bug. DeepSeek a mis plus de temps en nombre d’appels et en durée, tout en restant moins cher grâce à la mise en cache automatique de ses entrées répétées. Sur la base des réglages utilisés, Anthropic n’avait pas activé le prompt caching, ce qui peut modifier le calcul [à vérifier].

Pourquoi le triage a fait la différence

Le troisième scénario, celui du triage, a été le plus révélateur. DeepSeek a rendu 1 600 bonnes réponses sur 1 600, quand Haiku en a manqué quatre. Deux erreurs portaient sur la gravité des incidents : le guide de routage demandait un niveau sev4 pour moins de 50 utilisateurs touchés ou un taux d’erreur inférieur à 1 %, mais Haiku a classé à sev3 un cas à 49 clients affectés et un autre à 0,8 %. Les deux autres écarts concernaient l’acheminement vers la bonne équipe, sur fond de changement d’organisation au 1er août. Là encore, le contexte temporel a pesé plus lourd que la simple lecture du texte.

Dans ce test, DeepSeek a aussi profité d’un effet de format. Le même prompt a été compté à 153 082 tokens sur DeepSeek et 216 811 sur Haiku, les modèles utilisant des tokenizers différents. Résultat : le coût a basculé, avec 0,06 $ pour DeepSeek et 0,28 $ pour Haiku sur ce seul scénario. C’est le genre de détail qui fait grimper une facture sans prévenir — un peu comme un parking de centre-ville, mais en plus silencieux.

Ce que racontent vraiment les chiffres

Au total, DeepSeek et Haiku restent proches en précision globale, mais pas au même prix ni avec la même vitesse selon la tâche. Haiku a été plus rapide sur les deux tests outillés, tandis que DeepSeek a pris l’avantage sur le gros prompt de triage et sur le coût final. La différence ne tient donc pas à une supériorité générale d’un modèle sur l’autre, mais à leur comportement face à des charges variées, à la longueur des contextes et aux règles de tarification.

Pour les équipes qui arbitrent entre vitesse, prix et exactitude, le signal est clair : le choix d’un modèle ne peut pas se faire sur une seule métrique. DeepSeek V4.1-Flash-1017 sort gagnant dans cet essai ponctuel, mais Jessica Wachtel rappelle qu’un seul passage par test ne suffit pas à établir une tendance robuste. En production, la bonne question reste donc celle du workload réel, pas celle du slogan le plus accrocheur.