L’IA agentique fait grimper les factures cloud malgré la baisse des modèles

Les coûts d’inférence des grands modèles ont chuté de plus de 90% en deux ans, mais les factures IA des entreprises, elles, ne suivent pas la courbe descendante. Selon les sources fournies, le problème n’est plus seulement le prix du token, mais le volume de contexte transporté par des workflows agentiques qui tournent en boucle. OpenAI l’illustre à sa manière : ses propres chercheurs ont généré jusqu’à 3,1 agent-workdays par human workday, avec des pointes au-delà de 7 000 dollars par jour en prix API. Autrement dit, la machine adore travailler toute seule, et le cloud adore lui présenter la note.

Le vrai poste de dépense, c’est le trajet des données

Dans un usage classique, un humain pose une requête courte et obtient une réponse courte. Avec un agent autonome, la séquence change : la machine enchaîne les essais, relance des outils, relit des logs, retransmet des schémas de base de données et recycle la même télémétrie à chaque étape. Cette répétition transforme le contexte LLM en couche d’infrastructure variable, souvent mal maîtrisée, où l’on paie pour déplacer beaucoup de bruit et peu de signal.

Le constat vaut surtout pour les équipes d’ingénierie et d’exploitation. Lors d’un dépannage automatisé, l’agent peut recharger des milliers de lignes de journaux, recommencer après un échec, puis renvoyer les mêmes blocs vers une API distante plusieurs dizaines de fois par heure. Les modèles sont moins chers qu’avant, mais la session, elle, devient plus bavarde. Et les budgets n’aiment pas les bavards.

Pourquoi les entreprises se tournent vers l’optimisation du workload

Face à cette dérive, l’optimisation ne consiste plus seulement à négocier des API moins chères ou à changer de modèle. Elle se déplace vers la couche de workload, c’est-à-dire vers ce qui est filtré, compressé ou mis en cache avant même d’atteindre le modèle. Project Headroom, une couche open source de compression de contexte initiée par Tejas Chopra, senior engineer chez Netflix, illustre ce virage. Le projet intercepte localement des charges lourdes, puis réduit les logs, retire le superflu syntaxique et remplace de gros volumes textuels par des empreintes cryptographiques légères.

Selon les métriques du projet citées dans la source, cette approche côté client a déjà traité plus de 200 milliards de tokens et permis d’éviter environ 700 000 dollars de coûts de transport API. Le signal est clair : la maîtrise du contexte devient une fonction d’exploitation, pas un simple bricolage de développeur pressé avant la réunion du lundi.

Une nouvelle couche de gouvernance se dessine

La situation rappelle deux évolutions déjà connues dans l’informatique d’entreprise. Le cloud a rendu le calcul et le stockage variables, ce qui a fait naître FinOps. Les microservices ont multiplié les points de défaillance, ce qui a poussé les entreprises vers l’observabilité. L’IA agentique suit la même trajectoire, avec un besoin de gouvernance du contexte à l’échelle du workload.

Gartner estime, selon la source, qu’au moins 50% des projets d’IA générative dépasseront leur budget d’ici 2028 à cause de mauvais choix d’architecture et d’un manque de contrôle opérationnel à l’exécution. Dans ce cadre, les garde-fous demandés sont très concrets : un cache de prompts partagé pour éviter de payer plusieurs fois le même contenu interne, des coupe-circuits budgétaires capables d’arrêter un agent coincé dans une boucle infinie, et un audit au niveau du token pour relier la dépense à un dépôt, un pipeline ou une équipe précise.

Le sujet dépasse donc la simple optimisation de facture. À mesure que les agents gagnent en autonomie, la question n’est plus seulement “quel modèle utiliser ?”, mais “comment faire circuler le contexte sans le gaspiller ?”. C’est là que se joue le prochain arbitrage économique de l’IA en entreprise : pas dans le modèle, dans le tuyau.