Maia 300 pousse l’inférence IA vers plus de densité et moins d’énergie

Microsoft a présenté Maia 300, la troisième génération de son accélérateur IA Azure, conçue pour l’inférence à grande échelle et les charges dites agentiques. L’enjeu est simple à formuler : faire tourner plus de modèles, plus longtemps, dans le même budget électrique et thermique. Selon le billet publié le 12 octobre, le système vise davantage de tokens utiles par watt et par dollar, avec une co-conception entre silicium, réseau, rack et datacenter.

Une architecture pensée pour les agents, pas seulement pour les modèles

Maia 300 arrive alors que les usages changent. Les workloads dits agentiques combinent exécution en plusieurs étapes, contextes plus longs, décodage intensif et appel d’outils. Dans ce cadre, le calcul brut ne suffit plus : il faut surtout limiter les déplacements de données, garder la mémoire proche du calcul et éviter que le réseau ne ralentisse l’ensemble. Microsoft résume cette logique par une architecture système complète, où chaque couche est optimisée pour l’inférence.

La base technique repose sur SDLA, pour Software Defined Locally Accessed Dataflow Architecture, une architecture de flux de données où le logiciel pilote explicitement le placement, le mouvement et la synchronisation des données. Maia 300 fait évoluer ce modèle avec une organisation mémoire NUMA à l’échelle des chiplets, des formats de précision plus étroits et un réseau conçu comme une extension native du calcul. Oui, la machine essaie désormais de penser comme un logisticien très pressé.

Plus de mémoire utile, moins de bits déplacés

Sur le silicium, Microsoft annonce plusieurs gains par rapport à Maia 200. L’accélérateur gagne 36% de FLOPs système, 2,5 fois plus de bande passante HBM et 14% de bande passante de montée en charge supplémentaire. Chaque puce intègre aussi huit piles HBM4, pour 288 Go de capacité et 18 To/s de bande passante par accélérateur. L’objectif est clair : conserver davantage d’état de modèle et de cache KV près du calcul, au lieu de le promener à travers la machine.

Le groupe met également en avant de nouveaux formats de faible précision, dont MXFP4 renforcé et des formats de stockage sous 3 bits. Dans les systèmes d’inférence, réduire la taille des représentations diminue la mémoire consommée et les transferts nécessaires. Le bénéfice n’est pas seulement théorique : il permet de soutenir des modèles plus gros, des contextes plus longs et davantage de sessions concurrentes dans une enveloppe de puissance identique.

Le rack devient une unité de calcul à part entière

Maia 300 ne se limite pas à un composant. Microsoft a repensé le rack complet, avec 96 accélérateurs répartis dans 24 bacs de quatre puces, pour une enveloppe de 167 kW. La densité est doublée par rapport à Maia 200. Côté réseau interne, six ASIC de commutation haut débit sont regroupés dans trois baies refroidies par liquide, tandis qu’un busbar 50 V et des doubles alimentations assurent la distribution électrique.

Le refroidissement mélange liquide et air : plus de 80% de la charge thermique des accélérateurs, régulateurs et switches part par liquide, le reste étant évacué par air pour la mémoire, le stockage et les composants auxiliaires. Microsoft dit aussi avoir prévu deux modes de déploiement, avec raccord direct à l’eau du site ou usage d’un échangeur thermique dans des datacenters refroidis par air. Cela élargit le spectre des sites compatibles, ce qui compte autant que les performances sur la fiche technique.

Une montée en échelle pensée pour limiter les goulets d’étranglement

Le réseau de Maia 300 est présenté comme une extension du dataflow logiciel. Microsoft décrit un superpod pouvant aller jusqu’à 12 288 accélérateurs, reliés par une architecture à deux niveaux avec Ethernet comme base du transport IA personnalisé. Dans cette configuration, les accélérateurs peuvent initier des communications directement entre eux, sans passage systématique par l’hôte ni par une carte réseau de sortie séparée.

La topologie doit aussi réduire les sauts réseau. À l’intérieur du rack, les liens sont électriques ; entre racks, le deuxième niveau repose sur l’optique. Trois domaines de latence sont distingués : paire directement reliée, rack, puis superpod. Microsoft précise qu’un accélérateur peut monter jusqu’à 750 Go/s vers un pair dans le superpod dans certains scénarios de répartition de charge. Les tâches peuvent alors garder le parallélisme tensoriel dans le rack, tout en étendant d’autres formes de parallélisme au-delà.

Ce lancement dit quelque chose de plus large sur le marché : pour l’inférence IA, la bataille se déplace de plus en plus du seul calcul vers l’architecture complète. Microsoft veut prouver qu’un gain d’efficacité se joue autant dans la mémoire, le réseau et le refroidissement que dans le cœur de puce. À ce stade, Maia 300 ressemble moins à un composant qu’à une machine industrielle pour agents IA.