Nvidia muscle la transcription audio avec un modèle open-weight unifié

Nvidia a dévoilé le 28 octobre 2026 Nemotron 3.5 Transcribe, un modèle audio open-weight qui regroupe transcription multilingue, attribution des locuteurs, traduction et questions-réponses sur l’audio dans un seul point de contrôle. L’enjeu est clair : simplifier des usages qui, jusqu’ici, exigeaient souvent plusieurs briques logicielles. En parallèle, l’entreprise publie Granary v2, un jeu de données et une chaîne de curation ouverte couvrant 463 062 heures dans 48 langues.

Un modèle unique pour plusieurs tâches audio

Nemotron 3.5 Transcribe transcrit 40 langues, en traduit 31 vers ou depuis l’anglais et identifie les locuteurs dans 13 langues, selon la fiche modèle publiée par Nvidia sur Hugging Face. Le système accepte des enregistrements d’une heure et peut attribuer jusqu’à huit voix. Dit autrement, il vise des usages plus larges que la simple dictée, avec un modèle pensé pour les comptes rendus, les réunions ou le support client.

Sur le plan technique, le modèle combine un encodeur vocal, un backbone de langage et une tête de classification temporelle pour les horodatages mots par mot. Nvidia indique aussi un contexte de 65 536 tokens et des variantes quantifiées en BF16, FP8 et NVFP4. L’ensemble reste un modèle hors ligne : le traitement interne par morceaux ne le transforme pas en service de streaming temps réel. Petit détail qui compte, surtout pour les intégrateurs pressés de cocher toutes les cases.

Granary v2, la pièce discrète mais centrale

Le second annonceur de la journée s’appelle Granary v2. Ce n’est pas un produit grand public, mais la base de données et de préparation qui alimente l’entraînement. Son manifeste public couvre 463 062 heures réparties sur 48 langues et 16 corpus sources, contre 25 langues dans Granary v1. Nvidia précise que ces chiffres décrivent le jeu de données publié, pas l’ensemble du mélange d’entraînement du modèle.

La chaîne de curation, construite avec NVIDIA NeMo Curator, génère plusieurs versions de chaque transcription, des sous-titres, des paires question-réponse, des termes de biais contextuel et des traductions assorties de scores de qualité. Le pipeline fonctionne en quatre étapes, avec des filtres de hallucination et des contrôles d’accord entre modèles. Sur VoxPopuli, il est parvenu à ramener 354 000 heures à 111 000 heures dans 22 langues européennes, preuve qu’en audio aussi, le tri peut faire le ménage.

Des scores solides, mais à lire avec le périmètre en tête

Nvidia affirme que Transcribe arrive en tête parmi les modèles open-weight sur le classement anglais Open ASR de Hugging Face, avec 5,33 % de taux moyen d’erreur sur les mots, hors modèles API. L’entreprise revendique aussi 4,62 % de WER moyen sur sept langues en multilingue et 10,98 % sur les longs formats, toujours dans la comparaison des modèles ouverts incluse à la fiche.

Dans ses propres tableaux, capturés le 12 octobre 2026, Nvidia donne une moyenne anglaise de 4,71 % WER sur neuf jeux de données, contre 4,94 % pour Qwen3-ASR-1.7B. Pour la diarisation, le modèle affiche 15,80 de cpWER moyen multi-locuteurs contre 16,83 pour DiCoW v3.3 associé à DiariZen. Sur le terrain de la parole multilingue, l’entreprise se place aussi à 4,62 % de WER moyen sur sept langues [à vérifier], avec des comparaisons qui dépendent fortement du protocole retenu.

Ce que Nvidia cherche à prouver avec la version médicale

Pour illustrer l’adaptation, Nvidia cite un cas d’usage médical basé sur 3 619 enregistrements de médecins et d’étudiants en médecine indiens. Dans ce scénario, préciser “English” et l’alphabet latin dans le prompt fait baisser le WER de 30,8 % à 23,8 %, puis le fine-tuning le ramène à 11,8 %. Sur 2 764 clips conservés pour l’évaluation, la société dit avoir réduit le WER de 22,44 % à 12,17 %, soit une baisse relative de 45,8 %.

Ces résultats restent très dépendants du domaine. Le WER de LibriSpeech test-clean progresse légèrement, de 1,54 % à 1,69 %, ce qui rappelle qu’un modèle optimisé pour un contexte n’améliore pas forcément tout le reste. Dans le médical, la précision compte plus que l’effet d’annonce ; c’est aussi là que ces systèmes se jugent, pas seulement sur une slide bien éclairée.

Déploiement, vitesse et réalité industrielle

Nvidia dit que le modèle peut tourner sur une seule GPU, depuis Jetson AGX Thor et DGX Spark jusqu’aux systèmes Blackwell en datacenter. Avec l’implémentation NIM optimisée, une RTX PRO 6000 Blackwell Server Edition traiterait jusqu’à 2 238 secondes d’audio par seconde en précision NVFP4 avec DFlash2, selon l’annonce. La société affirme aussi pouvoir traiter 100 heures d’audio en moins de trois minutes sur des clips de 30 secondes à forte concurrence.

Ces performances ne font pas encore partie de la version open-source, précise toutefois la fiche modèle. L’exécution passe par vLLM 0.32.0 avec le plugin NeMo Speech ou par NeMo-Speech.cpp en local, tandis qu’un agent de fine-tuning peut automatiser la recette d’adaptation. L’offre ressemble donc à un ensemble assez complet pour les équipes qui veulent tester, déployer et ajuster sans reconstruire toute la chaîne. C’est souvent là que le marché se décide.