Robots.txt se dote d’un signal commun pour les préférences d’entraînement IA

OpenAI, Google et Microsoft ont annoncé le 30 octobre 2026 leur soutien à un signal commun dans robots.txt pour permettre aux sites web d’exprimer une préférence unique sur l’usage de leurs contenus pour l’entraînement des IA. L’idée est simple : éviter de gérer une règle différente pour chaque robot, tout en gardant les contrôles déjà en place. Ce signal reste volontaire et s’inscrit dans les travaux de l’IETF sur les préférences liées à l’IA.

Un même signal pour plusieurs fournisseurs, sans remplacer les règles existantes

Le cœur du projet tient dans un token partagé, __usage_ai-training, qui peut être intégré dans un fichier robots.txt pour signaler une préférence sur l’entraînement. OpenAI explique vouloir l’honorer dans les mois à venir, tandis que Google vise une prise en charge en 2027. Microsoft, de son côté, annonce une extension à ses propres contrôles pour l’entraînement et le “grounding”, c’est-à-dire l’appui d’un modèle sur des sources web pour produire une réponse. Le point de friction est connu depuis longtemps : sans mécanisme commun, les éditeurs de sites devaient traiter chaque crawler séparément. Pas franchement une partie de plaisir.

Les trois entreprises insistent toutefois sur un point : ce signal ne supprime pas les contrôles propriétaires déjà disponibles. Google conservera Google-Extended, OpenAI maintiendra ses règles pour GPTBot, OAI-SearchBot, OAI-AdsBot et ChatGPT-User, et Microsoft prévoit de faire évoluer ses balises NoArchive et NoCache vers de nouvelles préférences. Autrement dit, le standard partagé s’ajoute à la boîte à outils, il ne la vide pas.

Ce que dit le draft de l’IETF

Le mécanisme est décrit dans un Internet-Draft intitulé Machine-Readable Training Preference Signal, signé par Kevin Kelley d’Anthropic et daté du 30 octobre 2026. Le document n’a pas encore de valeur normative : l’outil de suivi de l’IETF rappelle qu’un draft individuel n’est pas approuvé par l’organisation et n’a pas de statut formel dans le processus de standardisation. Sa logique, elle, reste prudente. Le texte n’ajoute ni nouvelle directive ni nouvelle grammaire à robots.txt ; il réutilise la structure existante, avec les règles de priorité déjà connues.

Concrètement, le draft associe des préférences d’usage à des chemins précis. Son exemple montre une interdiction générale de l’entraînement sur un site, sauf pour le répertoire /press-kit/. Les groupes génériques de type User-Agent: * ne doivent pas être lus comme s’ils visaient le token dédié à l’IA, et l’absence du token dans un fichier signifie qu’aucune préférence n’a été exprimée. Le texte précise aussi que ces préférences d’usage et les signaux de crawl sont deux choses distinctes : on peut bloquer l’entraînement sans bloquer le passage du robot, selon les cas.

Pourquoi les éditeurs de sites y voient un gain pratique

Pour les publishers, l’intérêt est évident : une seule règle peut désormais être partagée entre plusieurs fournisseurs participants, au lieu de maintenir des exceptions par acteur. Google souligne que cette approche répond aux demandes de nombreux éditeurs, mais aussi de régulateurs et d’organisations de la société civile, favorables à des contrôles plus lisibles. L’entreprise ajoute que cette voie est cohérente avec le code de pratique européen lié à l’AI Act, qui reconnaît robots.txt comme un moyen privilégié d’exprimer des préférences lisibles par machine.

OpenAI adopte la même lecture, en présentant la démarche comme un moyen de simplifier la communication entre sites et fournisseurs d’IA. La société affirme que son signal ne remplace pas les règles déjà publiées et qu’elle continuera d’adapter ses pratiques à mesure que les discussions de standardisation avancent. Google, elle, précise que les sites qui autorisent Google-Extended restent éligibles à certaines expériences Gemini et aux clics associés au grounding dans Gemini Apps. Microsoft, enfin, avertit qu’un refus du grounding peut réduire la visibilité de marque dans ses expériences d’IA, sans modifier l’éligibilité aux résultats classiques de Bing ni créer d’accord de licence ou de paiement.

Des calendriers différents, mais une direction commune

Les délais ne sont pas synchronisés. OpenAI dit vouloir mettre en œuvre le signal “dans les mois à venir”, sans date ferme. Google vise 2027. Microsoft annonce, de son côté, une entrée en vigueur de ses nouvelles préférences à partir du 1er février 2027, avec une période de transition pour les anciens tags ouverte à partir du 15 décembre 2026 dans Bing Webmaster Tools et une bascule complète après le 1er mars 2027 pour les sites concernés. Cette temporalité étalée laisse penser que le standard prendra d’abord la forme d’un alignement progressif, plutôt que d’une coupure nette.

Reste une question très simple : qui suivra ? Le signal n’a de valeur pratique que si d’autres acteurs le reconnaissent. Les trois annonces du 30 octobre 2026 pèsent lourd, mais le mécanisme repose encore sur l’adoption volontaire et sur la capacité du marché à s’accorder sur une lecture commune. Pour l’instant, le consensus avance. Lentement, mais il avance.