Google élargit ses TPU avec 8tx et 8i Max pour l’IA agentique

Google a présenté deux nouveaux systèmes TPU, les TPU 8tx et TPU 8i Max, et porte ainsi à quatre le nombre de variantes de sa génération v8 annoncées cette année. L’enjeu est clair : répondre à la montée des agents IA, aux contextes de million de tokens et aux besoins de confidentialité des entreprises régulées. Selon Amin Vahdat, chief technologist for AI and infrastructure, c’est « the first time we have introduced four TPU systems in a single year ». Une cadence qui dit beaucoup de la pression sur l’infrastructure IA, où le matériel ne peut plus se contenter d’arriver après le logiciel.

Deux systèmes, deux problèmes très concrets

TPU 8tx, nouveau système de la gamme, cible l’inférence confidentielle et la petite échelle d’entraînement. Google le destine aux banques, aux gouvernements et aux organisations qui manipulent des données sensibles, avec une promesse simple : garder les données et les poids des modèles « protected and isolated even while in active use ». Le système reprend le silicium du TPU 8t, mais l’associe à des hôtes AMD EPYC de 5e génération et à la même liaison réseau à faible latence que le TPU 8i. Résultat annoncé : jusqu’à deux fois moins de latence que le TPU 8t, avec un impact jugé quasi nul sur les performances.

De son côté, TPU 8i Max s’attaque à la fameuse « memory wall », ce goulot d’étranglement où la bande passante mémoire finit par freiner les charges les plus lourdes. Google a choisi de mettre deux puces TPU 8i dans un même package. L’idée est de doubler le calcul, la SRAM embarquée et la bande passante HBM, afin d’alimenter sans pause des agents qui parcourent de gros dépôts de code ou des heures de vidéo. Le tout en conservant le même encombrement en rack. C’est la version matériel de la maxime « plus de mémoire, moins de soupirs ».

Pourquoi Google insiste autant sur le logiciel

La nouveauté n’est pas seulement dans le silicium. Google pousse aussi une série d’outils censés faire tomber les barrières d’adoption face à CUDA et aux habitudes prises autour de Nvidia. Last month, la société a open-sourcé TorchTPU, afin que le code PyTorch et les modèles Hugging Face tournent nativement sur TPU, avec des backends pour vLLM et SGLang. Le nouveau TPU agent suite, encore en preview, se branche sur Claude Code, Cursor et Google Antigravity pour automatiser l’onboarding, diagnostiquer les goulets et ajuster des kernels à l’aide de langage naturel.

Autre brique mise en avant : TPU Sync, une couche open source qui répartit les KV caches entre mémoire de puce, mémoire hôte et stockage. Google affirme qu’elle réduit la latence de transfert des KV et le time to first token de plus de 90 %. Pour les charges d’agents, cela compte autant qu’un gain brut de calcul, car les interruptions et les retours de mémoire y coûtent vite plus cher qu’un watt supplémentaire.

Une gamme pensée pour l’IA agentique

Google présente désormais sa génération v8 comme une chaîne complète : TPU 8t pour l’entraînement à grande échelle, TPU 8i pour le raisonnement à faible latence, TPU 8tx pour le calcul confidentiel et TPU 8i Max pour les contextes géants. Selon la société, les TPU représentent une activité en croissance rapide avec « nearly 100 customers », de labs de pointe à des établissements universitaires, en passant par des acteurs de la finance et du commerce. La disponibilité exacte et les prix des deux nouveaux systèmes n’ont pas été communiqués [à vérifier].

Cette stratégie a un double effet. D’abord, elle donne à Google un argument supplémentaire face à Nvidia sur les charges d’inférence, qui absorbent désormais une part importante du calcul IA. Ensuite, elle montre que la bataille ne se joue plus seulement sur la puissance du chip, mais sur l’ensemble du système : réseau, mémoire, orchestration et sécurité. Dans ce contexte, le calcul ne se vend plus en silicium nu, mais en architecture complète.