MLPerf Inference se dote d’un nouveau tableau de résultats

MLCommons publie ses résultats MLPerf Inference pour deux volets, Datacenter et Edge, avec un tableau interactif, un journal des changements et des téléchargements de résultats bruts. Ce benchmark mesure la vitesse à laquelle un système traite des entrées et produit des réponses à partir d’un modèle entraîné. L’enjeu est simple : comparer des plateformes matérielles et logicielles sur des bases communes, sans faire de la cuisine maison avec les métriques.

Un benchmark pensé pour comparer des systèmes qui ne jouent pas dans la même cour

La suite MLPerf Inference couvre plusieurs scénarios afin de tester des usages variés, du datacenter à l’edge. Chaque scénario s’appuie sur un générateur de charge standard qui envoie des requêtes selon un rythme précis, puis mesure une métrique donnée, comme la latence ou le débit. MLCommons rappelle aussi que les résultats publiés peuvent être modifiés ou invalidés après coup, d’où la présence d’un change log.

Sur la méthode, deux divisions structurent la comparaison. La division Closed sert à mesurer des plateformes ou des frameworks « apples-to-apples » avec le même modèle que la référence. La division Open autorise un modèle différent ou un réentraînement, ce qui élargit le terrain de jeu mais rend la lecture plus prudente. Dans le même esprit, les systèmes sont classés selon leur disponibilité : Available, Preview ou RDI pour les matériels ou logiciels expérimentaux.

La puissance se mesure aussi à la prise

Le volet power ajoute une couche utile, surtout pour les calculs d’inférence à grande échelle. Pour les scénarios Server et Offline, MLPerf mesure la System Power; pour Single Stream et Multiple Stream, il s’agit de l’Energy Per Stream. Ces valeurs proviennent de la consommation AC moyenne mesurée à la prise pendant la durée du test. Autrement dit, pas de magie : on regarde ce que le système avale vraiment, pas ce qu’il promet sur l’étiquette.

Le détail de chaque ligne de résultats compte aussi pour les équipes techniques. MLCommons liste le soumissionnaire, la pile logicielle, le système, les résultats de benchmark, le processeur et son nombre, l’accélérateur et son nombre, ainsi que les liens vers les métadonnées et le code. En Open division, des champs supplémentaires peuvent apparaître, comme le modèle utilisé et des notes libres du soumissionnaire.

Ce cadre explique pourquoi MLPerf reste un repère suivi dans l’IA matérielle : il ne vend pas une performance brute, il essaie de rendre la comparaison lisible. Pour les fabricants de puces, les éditeurs de frameworks et les acheteurs en entreprise, la valeur est là. Et la petite ligne en plus dans un tableau peut, parfois, changer bien plus qu’un discours commercial bien huilé.