NVIDIA ouvre un corpus géant pour les langues indiennes

NVIDIA, avec IIT Madras et son laboratoire AI4Bharat, a présenté le 16 octobre 2026 Nemotron-pretraining-Indic-v1, un corpus synthétique d’environ 2,8 billions de tokens destiné à 22 langues indiennes. La publication s’accompagne d’un pipeline ouvert, accéléré par GPU, qui documente la génération, l’évaluation et la correction des données. L’enjeu est simple : combler un manque de données qui freine encore les modèles pour les langues indiennes face à l’anglais.

Un corpus pensé pour le préentraînement, pas pour la déco

Le jeu de données agrège 2 601,0 milliards de tokens en écriture native et 224,6 milliards en écriture romanisée, soit 34 configurations langue-écriture au total. Les 22 langues concernées sont celles inscrites dans la Constitution indienne, décrites dans l’annonce comme les premières langues de 97 % des Indiens, soit près de 1,2 milliard de personnes selon le recensement de 2011. Le corpus doit servir à entraîner des modèles capables de traiter du texte technique, des questions-réponses, des mathématiques ou du code dans des langues locales. Pas juste de bavarder poliment en translittération.

Les douze langues dotées d’une version native et romanisée sont le bengali, le gujarati, l’hindi, le kannada, le malayalam, le marathi, le népalais, l’odia, le pendjabi, le tamoul, le télougou et l’ourdou. Dix autres langues n’existent ici qu’en écriture native : assamais, bodo, dogri, cachemiri, konkani, maithili, manipuri, sanskrit, santali et sindhi. NVIDIA précise que ces volumes décrivent le corpus retenu, après filtrage, et non un budget d’entraînement théorique.

Deux chaînes de production, selon la langue

La fabrication part de documents issus de 15 sous-ensembles de Nemotron-CC-v2, qui couvrent notamment des textes web, du question-réponse, des mathématiques et du code. Le tout passe dans NeMo Data Designer, le framework open source de NVIDIA pour les données synthétiques, qui orchestre traduction, contrôle qualité et réparation ciblée. Chaque sortie reste reliée à son document source d’origine, ce qui facilite l’audit et le réemploi.

Pour douze langues, la traduction se fait document entier avec Gemma-4-31B-it, puis le même modèle évalue le résultat au regard de l’original anglais. La grille s’inspire de la Multidimensional Quality Metrics et couvre le sens, la fluidité, la terminologie, le style et le formatage ; seuls les résultats notés au moins 75 sur 100 sont conservés. Les échantillons moins bons sont réparés à partir des retours d’évaluation, puis repassent le seuil. Ce circuit a permis de récupérer 438,4 milliards de tokens déjà inclus dans le total annoncé.

Les dix autres langues suivent un autre chemin, avec Indic Translate, un modèle de traduction documentaire développé par Bodhan AI, incubé à IIT Madras. Pour le santali, des fenêtres de texte chevauchantes servent à reconstruire les longs documents ; pour le manipuri, la traduction passe par le bengali avant conversion vers Meitei Mayek. L’idée est de garder la cohérence du document quand la longueur ou l’écriture compliquent le passage direct.

Pourquoi le pipeline ouvert compte autant que les données

NVIDIA ne livre pas seulement un corpus, mais aussi la recette complète : prompts, flux LLM, contrôles qualité, conversion d’écriture et paramètres de réécriture. Les équipes peuvent reprendre le pipeline tel quel, l’adapter à leur domaine ou injecter leurs propres sources. Dans les faits, cela réduit la dépendance à une boîte noire. Et cela évite de refaire le travail de la cuisine à chaque fois qu’on veut changer le menu.

Le projet insiste aussi sur ses limites. La traduction ne remplace pas les textes rédigés nativement dans les langues indiennes et ne garantit pas, à elle seule, la couverture des savoirs locaux ou culturels. NVIDIA recommande donc de combiner ce corpus avec des données naturelles, issues de langues indiennes rédigées directement par des locuteurs. Les contrôles restent principalement automatisés, avec des revues humaines ponctuelles dont l’ampleur varie selon les langues.

Des gains sur le modèle, mais pas une preuve unique

Le rapport technique de Nemotron 3.5 Super VL compare le modèle avant et après une phase de continued pretraining dédiée à l’Indique. Le budget prévu était de 100 milliards de tokens, dont 10 milliards réservés à un mélange de texte synthétique et naturel en langues indiennes. Sur cette phase, les scores progressent sur les cinq benchmarks reportés : MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy et Indic GSM8K, avec des gains allant de 4,98 à 9,82 points. NVIDIA précise toutefois qu’il s’agit d’un effet de stage d’entraînement, pas de la contribution isolée du seul corpus synthétique.

Face à Nemotron 3 Super, la version 3.5 Super VL améliore cinq des six benchmarks de tâches affichés, dans des domaines allant des connaissances au code en passant par la traduction. L’instruction following sur IFEval 1.5 recule de 2,04 points, ce qui rappelle qu’un modèle peut gagner d’un côté et perdre un peu de l’autre. Sur IndiVibe, un benchmark ouvert de Sarvam AI, les scores montent sur les quatre dimensions suivies : utilité, fluidité, fidélité à la langue et à l’écriture, et verbosité adaptée.

Pour les acteurs du préentraînement, le signal est clair : la bataille des modèles ne se joue plus seulement sur la taille brute, mais sur la qualité du mélange, la traçabilité et la capacité à produire des données dans des langues peu servies. C’est précisément là que ce type de pipeline open source peut peser, surtout dans un marché où l’accès à des corpus propres vaut presque autant que la puissance de calcul.