NVIDIA muscle la transcription multilingue avec un modèle promptable

NVIDIA a présenté Nemotron 3.5 Transcribe, un modèle open weight de transcription vocale qui gère aussi l’attribution des voix, la traduction et les questions sur l’audio. L’ensemble arrive avec Granary v2, une chaîne de curation de données pensée pour adapter le modèle à des accents, des vocabulaires métier et des formats de sortie précis. Le sujet compte pour les usages en réunion, en santé ou en relation client, où un bon verbatim ne suffit pas toujours.

Un modèle qui ne se contente pas de “débrouiller” l’audio

Nemotron 3.5 Transcribe est un modèle promptable, c’est-à-dire qu’on peut lui donner des consignes en langage naturel pour orienter la sortie. NVIDIA indique qu’il transcrit 40 langues, en traduit 31 vers ou depuis l’anglais, attribue les locuteurs dans 13 langues et gère des enregistrements allant jusqu’à une heure avec jusqu’à huit personnes. L’idée est simple : un même enregistrement peut produire, selon l’instruction, une transcription brute, une version traduite, un découpage par voix ou une réponse à une question sur le contenu.

Le modèle est disponible sur Hugging Face et ModelScope, et peut tourner sur une seule GPU NVIDIA, du DGX Spark aux systèmes Blackwell en datacenter. Pour les développeurs, NVIDIA met aussi en avant des guides de déploiement avec vLLM et NeMo Speech. Pas besoin de sortir la boule de cristal pour comprendre l’intérêt : le modèle vise à réduire les bricolages entre transcription, diarisation et post-traitement.

Des résultats solides sur les classements, mais [à vérifier] selon les usages

Sur le papier, Transcribe affiche de bons résultats sur plusieurs classements publics. NVIDIA le dit premier parmi les modèles open weight sur le Hugging Face Open ASR Leaderboard en anglais, avec 5,33 % de WER moyen, et le place à 4,62 % de WER moyen en multilingue sur sept langues dans sa comparaison open weight. Sur la plateforme Artificial Analysis, il atteint 2,8 % de AA-WER, à environ 4 milliards de paramètres actifs, contre 24 milliards pour le modèle auquel il est comparé dans cette course-là.

Le volet attribution des voix est tout aussi mis en avant. Sur le benchmark David AI DAI-ASR-I18N, NVIDIA annonce 18,26 % de DER sur 21 langues, devant Nemotron 3 Diarization à 18,38 %. Sur VoiceArena, le modèle affiche 32,4 % de cpWER, ce qui le place en tête du comparatif mentionné par NVIDIA. Ces chiffres restent des mesures de benchmark, donc utiles pour comparer des modèles, mais pas une promesse automatique de tenue parfaite dans un open space bruyant un lundi matin.

Granary v2, la plomberie de fond que l’on ne voit jamais mais qui décide beaucoup

Granary v2 est la brique de données associée à Nemotron 3.5 Transcribe. NVIDIA la décrit comme une pipeline de curation réutilisable construite avec NeMo Curator, capable de produire plusieurs variantes de transcription, des paires d’instructions, des métadonnées de provenance et des indicateurs de qualité. Le manifeste public couvre 463 062 heures d’audio, 48 langues et 16 corpus sources, contre 25 langues dans Granary v1.

Cette chaîne sert à fabriquer des formats de sortie cohérents, notamment les variantes verbatim et normalisées que le modèle peut reproduire à la demande. Elle produit aussi des jeux pour la reconnaissance contextuelle, la restauration de mots empruntés, les résumés audio courts, la traduction et les questions-réponses ancrées dans l’audio. En pratique, cela permet d’aligner le jeu de données sur le résultat attendu, ce qui évite de demander à un modèle de deviner la ponctuation comme s’il lisait dans le marc de café.

Le fine-tuning change la donne dans les domaines spécialisés

NVIDIA met en avant un cas d’usage médical pour montrer l’intérêt de l’adaptation. Sur le benchmark Eka Care, la meilleure consigne seule fait passer le WER de 30,8 % à 23,8 %, puis le fine-tuning le ramène à 11,8 % sur l’ensemble du jeu. Sur les locuteurs tenus à l’écart de l’entraînement, le WER tombe de 22,44 % à 12,17 %, soit une baisse relative de 45,8 % selon le document publié.

Le résultat illustre un point central : la performance “générique” ne suffit pas toujours dans les métiers où les termes comptent, comme la santé ou les secteurs techniques. NVIDIA précise d’ailleurs que les développeurs peuvent ajuster la reconnaissance à des mots de domaine, à des conventions de transcription ou à des accents particuliers via ses outils NeMo Speech. Pour les entreprises, l’enjeu n’est pas seulement de transcrire, mais de transcrire juste, et de façon exploitable.

Ce que cela change pour les équipes produit et data

Avec Nemotron 3.5 Transcribe et Granary v2, NVIDIA pousse une logique assez claire : unifier dans un même bloc les usages de transcription, de diarisation et d’adaptation métier. Les équipes qui construisent des assistants vocaux, des outils de compte rendu ou des fonctions de recherche dans l’audio y trouvent un modèle plus modulable qu’un simple moteur de dictée. Reste à voir, selon les cas réels et les coûts de déploiement, si cette souplesse simplifie la vie des équipes ou ajoute une couche de réglages de plus.

Les ressources publiées couvrent aussi le déploiement local, les endpoints hébergés et des recettes de fine-tuning. Autrement dit, NVIDIA ne vend pas seulement un modèle, mais tout l’atelier autour. Et dans ce domaine, la boîte à outils compte souvent autant que le marteau.