L’entraînement des modèles d’IA dépend surtout des données

Les gains du pré-entraînement des grands modèles d’IA viendraient surtout des données, selon une analyse publiée par Dwarkesh Podcast avec Jerry Han, datée du 8 septembre 2026 [à vérifier]. Le texte, intitulé “Pretraining progress is mostly coming from data”, défend l’idée que l’amélioration sur six ans tient davantage à la qualité, à la quantité et au traitement des corpus qu’à la seule architecture des modèles. Pour les laboratoires, l’enjeu est très concret : quand les données plafonnent, la progression devient plus chère, plus lente et plus disputée.

Pourquoi cette lecture change la discussion

L’analyse découpe six années de progrès du pré-entraînement entre deux leviers : les données et les améliorations de modèle. Le message est simple. Si la plus grande part du gain vient des données, alors la prochaine phase de course à l’IA se jouera moins sur des trouvailles de laboratoire que sur l’accès à des corpus utiles, propres et variés. C’est moins glamour qu’un nouveau logo de modèle, mais beaucoup plus décisif pour les budgets.

Cette lecture compte aussi pour le marché. Les entreprises qui construisent des modèles de langage doivent investir dans la collecte, le filtrage, la déduplication et parfois la synthèse de données. Dans ce contexte, la pénurie ne concerne pas seulement les puces ou la puissance de calcul : elle touche aussi la matière première de l’apprentissage.

Un débat très technique, mais aux effets très concrets

Le pré-entraînement désigne la phase où un modèle est exposé à de très grands volumes de texte, d’images ou d’autres données pour apprendre des régularités générales. Si l’analyse de Dwarkesh Podcast est juste, les gains futurs pourraient venir d’un meilleur usage des données disponibles plutôt que d’une simple montée en taille des modèles. Cela implique des arbitrages plus serrés sur le coût d’accès aux données, la conformité juridique et la qualité des jeux d’entraînement.

Le texte ne donne pas, dans les éléments fournis, de détail chiffré sur la répartition exacte entre “data” et “model improvements” [à vérifier]. En revanche, il s’inscrit dans une question devenue centrale chez les acteurs de l’IA : jusqu’où peut-on encore améliorer les modèles avec les mêmes recettes ? À ce stade, la réponse semble être que les recettes comptent, mais que la cuisine dépend surtout des ingrédients.

Ce que les entreprises d’IA vont regarder de près

Si les données portent l’essentiel des progrès, les acteurs du secteur devront chercher des sources plus riches, mieux nettoyées et plus spécialisées. Cela peut passer par des partenariats éditoriaux, des jeux de données propriétaires, de la génération synthétique ou des méthodes de filtrage plus poussées. Chaque option a un coût, et souvent un revers : droits d’auteur, biais, bruit ou perte de diversité.

Dans le même temps, cette thèse renforce l’idée que les avantages compétitifs se déplacent. L’avance ne se joue plus seulement sur le nombre de paramètres, mais sur la capacité à organiser la donnée. Le contrôle du pipeline d’entraînement devient un actif stratégique, presque aussi important que la carte graphique qui tourne en arrière-plan.