Google muscle ses TPU pour l’inférence confidentielle et les longs contextes

Google a dévoilé le 9 novembre 2026 deux nouvelles configurations de sa huitième génération de Tensor Processing Units, les TPU 8tx et TPU 8i Max. La première vise l’inférence confidentielle sur des données sensibles, la seconde les usages qui réclament beaucoup de mémoire, comme les longs contextes ou l’analyse de gros volumes de code. Dans les deux cas, le groupe cherche à mieux couvrir les besoins des entreprises et des administrations, là où performance et contraintes de sécurité doivent cohabiter sans trop se chamailler.

Deux TPU, deux problèmes très différents à résoudre

Le TPU 8tx reprend le silicium du TPU 8t et y ajoute des processeurs hôtes AMD EPYC de cinquième génération, ainsi que des mécanismes de sécurité matériels pour protéger les données et les poids des modèles pendant leur usage en mémoire. Google le présente comme une réponse aux secteurs soumis à des exigences réglementaires, pour exécuter des modèles d’IA et des agents autonomes sur des informations sensibles. L’enjeu n’est pas seulement de chiffrer le stockage ou le transport réseau, mais de réduire aussi l’exposition pendant le calcul.

De son côté, le TPU 8i Max s’adresse aux charges de travail qui consomment beaucoup de mémoire. Google cite les agents capables d’analyser de grandes bases de code, de longues séquences vidéo ou des contextes dépassant le million de tokens. Pour cela, l’entreprise a regroupé deux puces TPU 8i dans un même package, ce qui double les capacités de calcul, la mémoire SRAM et la bande passante de la mémoire HBM par rapport au TPU 8i.

Un choix matériel qui s’accompagne d’un travail réseau et logiciel

Google associe le TPU 8tx à son réseau Boardfly, pensé pour les communications à faible latence. Selon le fournisseur, cette architecture peut diviser jusqu’à deux fois la latence par rapport au TPU 8t, sans baisse significative des performances. Cela doit permettre d’enchaîner sur une même infrastructure l’entraînement, le fine-tuning sur des données privées, la distillation de modèles et l’apprentissage par renforcement d’agents IA.

En parallèle, le groupe continue d’ouvrir son environnement logiciel. TorchTPU, publié en open source, permet d’exécuter du code PyTorch et des modèles Hugging Face sur ses accélérateurs. Des intégrations existent aussi pour les moteurs d’inférence vLLM et SGLang, tandis qu’une suite d’agents TPU reste en préversion pour automatiser l’intégration, le diagnostic et l’optimisation des kernels. Google annonce également une compatibilité avec Claude Code, Cursor et Google Antigravity.

Pourquoi cette annonce compte pour le cloud IA

Depuis avril 2026, Google avait déjà présenté les TPU 8t, destinés à l’entraînement des grands modèles, et les TPU 8i, optimisés pour l’inférence et le raisonnement à faible latence. Avec ces deux nouvelles variantes, la gamme de huitième génération passe à quatre systèmes distincts. L’idée est claire : rendre l’infrastructure plus spécialisée, au prix d’une offre plus complexe à suivre pour les clients. Le cloud adore parfois les menus à rallonge, surtout quand la facture reste lisible.

Google ajoute aussi TPU Sync, une couche logicielle destinée à unifier la gestion de la mémoire HBM, de la DRAM des hôtes et du stockage partagé. L’outil doit faciliter le transfert des caches KV utilisés par les modèles génératifs et, selon l’entreprise, réduire de plus de 90 % certaines latences liées à ces transferts et au temps de génération du premier token. Enfin, Cloud Pathways est désormais disponible de manière générale sur Google Kubernetes Engine, avec la possibilité d’orchestrer des charges distribuées sur plusieurs ensembles de TPU depuis un contrôleur unique.