Google affine ses TPU pour l’inférence et le calcul confidentiel

Google élargit sa gamme TPU de huitième génération avec deux nouvelles configurations, TPU 8tx et TPU 8i Max, alors que l’entreprise dit proposer quatre systèmes distincts sur une seule année. Le premier cible les entreprises réglementées et les administrations qui manipulent des données sensibles ; le second vise les charges d’inférence lourdes, notamment les agents et les contextes très longs. Derrière ces annonces, l’enjeu est simple : mieux séparer les usages pour gagner en latence, en mémoire ou en sécurité, selon le besoin.

Deux TPU, deux problèmes très différents

TPU 8tx, qui reprend le même silicium que le TPU 8t, ajoute une couche de calcul confidentiel grâce à des hôtes AMD EPYC Turin de 5e génération. Le principe du calcul confidentiel est de protéger les données même lorsqu’elles sont traitées en mémoire, dans un environnement isolé. Google le positionne pour les modèles propriétaires ou de frontier AI utilisés avec des données régulées.

La configuration s’appuie sur une topologie Boardfly, pensée pour réduire la distance réseau entre puces. Selon la source, cela peut abaisser la latence jusqu’à deux fois par rapport au TPU 8t, avec un impact de performance jugé quasi nul. Pour les systèmes d’IA qui enchaînent des appels d’inférence, le détail n’est pas cosmétique : quelques hops gagnés, ce sont des réponses qui arrivent un peu plus vite, et personne n’aime un modèle qui prend le thé entre deux tokens.

Pourquoi AMD ressort gagnant de cette histoire

Le choix d’AMD n’est pas anodin. Google a retenu des EPYC Turin pour aligner l’interface PCIe Gen5 x16 du TPU 8t, et une plateforme dual-socket fournit 128 lignes Gen5, de quoi éviter la surallocation des entrées-sorties autour de quatre TPU et des cartes réseau haut débit. La source précise aussi qu’un hôte plus récent, comme AMD EPYC Venice, retomberait en pratique sur des débits Gen5 sans apporter de bande passante supplémentaire aux accélérateurs.

Autrement dit, le gain n’est pas seulement technique ; il est aussi politique dans le bon sens du terme, celui des fournisseurs de cloud qui arbitrent entre sécurité, compatibilité et disponibilité matérielle. Pour AMD, ce n’est pas une percée statistique sur tout le marché serveur, mais un signal fort : EPYC entre dans une configuration d’accélération chez un hyperscaler majeur, sur un terrain où la confidentialité compte autant que la puissance brute.

TPU 8i Max : plus de mémoire pour les gros contextes

TPU 8i Max répond à un autre goulot d’étranglement, la mémoire. Google combine deux puces TPU 8i dans un même package pour doubler le calcul, la SRAM embarquée et la bande passante HBM. Le système offre 384 Go de HBM, soit environ un tiers de plus qu’un TPU 8i simple, ainsi que 17,2 To/s de bande passante HBM et 768 Mo de SRAM on-chip.

Ce type de configuration vise les usages où la mémoire sature avant le calcul : traitements de bases de code entières, analyse simultanée de longues vidéos, ou agents qui doivent conserver beaucoup de contexte. Google dit ainsi répondre à la “memory wall”, cette limite qui bloque les charges de travail quand les données circulent moins vite qu’elles ne sont calculées. TPU 8i Max n’est donc pas un simple doublage de puissance ; c’est une réponse ciblée à un problème très concret du calcul d’inférence à grande échelle.

Une gamme de plus en plus segmentée

Ces annonces montrent une stratégie nette : Google ne cherche pas un TPU universel, mais plusieurs variantes adaptées à des profils distincts. TPU 8tx privilégie la confidentialité et les environnements régulés ; TPU 8i Max favorise la latence et la capacité mémoire pour l’inférence. Cette spécialisation par usage ressemble moins à une course au plus gros chiffre qu’à un travail d’horloger sur le bon compromis. Et dans les infrastructures IA, le compromis fait souvent toute la différence.