Nvidia combine transcription, traduction et voix dans un seul modèle open source

Nvidia a présenté Nemotron 3.5 Transcribe, un modèle vocal ouvert qui transcrit, traduit et identifie les locuteurs sur des enregistrements pouvant durer jusqu’à une heure. Selon la société, il gère 40 langues pour la transcription, traduit 31 langues vers ou depuis l’anglais et repère 13 langues pour l’attribution des voix. Le lancement compte aussi Granary v2, un jeu de données audio géant et des outils pour adapter le modèle à des secteurs précis, comme la santé.

Un modèle pensé pour les réunions, pas seulement pour les démonstrations

Nemotron 3.5 Transcribe ne se contente pas de produire un texte brut. Il peut, selon l’instruction fournie, générer une transcription avec étiquettes de locuteurs, une traduction anglaise, un résumé des décisions prises ou même répondre à des questions sur le contenu d’un enregistrement. Le modèle accepte aussi des indices de vocabulaire technique, par exemple des noms de médicaments, avec une consigne simple : ne les utiliser que s’ils apparaissent vraiment dans l’audio.

Sur le papier, l’outil vise des cas d’usage très concrets : comptes rendus de réunion, transcription de conversations avec chevauchements de voix, ou traitement de contenus spécialisés où un simple moteur ASR ne suffit pas. ASR signifie automatic speech recognition, soit la reconnaissance automatique de la parole. Nvidia pousse ici une idée simple : un seul modèle doit pouvoir gérer plusieurs tâches audio sans imposer une chaîne d’outils séparés.

Une grosse capacité, mais une exécution allégée

Le modèle affiche 30 milliards de paramètres, mais seulement environ 4 milliards sont actifs à chaque étape de traitement. Cette architecture lui permet, selon Nvidia, de tourner sur un seul GPU, du DGX Spark compact jusqu’au matériel de centre de données. Sur un RTX PRO 6000 Blackwell Server Edition, la société affirme qu’il traite 100 heures d’audio en moins de trois minutes en précision NVFP4.

Les chiffres de benchmark placent aussi Nemotron 3.5 Transcribe dans le haut du panier. Sur le classement anglais open-weight de Hugging Face, il prend la première place avec un taux moyen d’erreur de mots de 5,33 %. Sur Artificial Analysis, il descend à 2,81 %, très près du meilleur modèle ouvert cité dans la source, Voxtral Small, à 2,77 %, tout en mobilisant environ six fois moins de paramètres actifs. Pour la reconnaissance des locuteurs, la marge semble encore plus nette : VoiceArena le place premier sur des conversations avec interruptions, avec 8,32 % de mots manqués, contre une médiane proche de 31 %.

Granary v2, la base de travail pour des usages spécialisés

Avec le modèle, Nvidia publie Granary v2, un jeu de données qui rassemble environ 844 000 heures de parole dans 48 langues. La version précédente montait à environ 643 000 heures dans 25 langues. Chaque enregistrement est proposé dans plusieurs styles de transcription : l’un fidèle mot à mot, l’autre nettoyé des hésitations et convertissant les nombres en chiffres. La société partage aussi les outils de constitution du corpus, afin que des développeurs puissent les réappliquer à leurs propres données.

L’intérêt est clair pour les équipes qui veulent adapter le modèle à un domaine étroit. Nvidia dit avoir testé un fine-tuning sur des enregistrements de médecins et d’étudiants en médecine en Inde. Sur l’ensemble du benchmark, un meilleur prompt fait tomber le taux d’erreur de 30,8 % à 23,8 %, puis le fine-tuning le ramène à 11,8 %. Sur les locuteurs inconnus du modèle, l’erreur passe de 22,44 % à 12,17 %, soit une amélioration relative de 45,8 %. La procédure aurait pris environ 14 heures GPU sur un Nvidia GB300.

Le revers classique des modèles spécialisés

Cette adaptation a un prix. Nvidia indique que le taux d’erreur remonte légèrement sur l’anglais général, tandis que le modèle médical reste plus fiable sur les noms de médicaments de marque. L’entreprise recommande aussi de conserver au moins 100 enregistrements réels et vérifiés pour valider une version personnalisée. Dit autrement : les benchmarks brillent vite, mais la vie réelle a encore le chic pour compliquer les choses.

Le système a d’autres limites. Certaines fonctions varient selon la langue, et la question-réponse audio a été entraînée en anglais. Le modèle est conçu pour de l’audio enregistré, pas pour du temps réel. Nvidia conseille donc de vérifier manuellement les noms propres, les changements de locuteur et les réponses générées. Nemotron 3.5 Transcribe arrive enfin après Nemotron 3 Diarization, présenté en septembre et dédié à l’identification des voix, mais sans transcription intégrée.