Meta retire une clause contestée sur le scraping de sites

Meta a supprimé une formulation de ses conditions commerciales qui semblait autoriser l’usage de contenus de sites, y compris d’actualité, pour entraîner ses IA. Dans le même temps, les éditeurs resserrent la vis face aux robots de collecte.

Meta a retiré de ses conditions commerciales une phrase qui semblait lui donner le droit d’utiliser du contenu de sites, y compris des sites d’actualité, pour développer et entraîner ses produits d’IA, selon The Verge le 17 octobre 2026. L’entreprise dit qu’il s’agissait d’un texte lié à ses produits publicitaires et commerciaux, pas d’une autorisation de contourner les préférences des sites. Cette clarification arrive dans un contexte de méfiance croissante envers les robots de collecte, alors que les éditeurs cherchent à reprendre la main sur leurs données.

Une formulation devenue trop ambiguë pour rester en place

La phrase supprimée indiquait que Meta « may use any content from such domains, web pages, or URLs to provide, develop, improve, research, train, and maintain the integrity of, the Meta Company Products, services, and features provided under these Commercial Terms and any other applicable supplemental terms ». Plusieurs observateurs, dont Neiman Lab et James Grimmelmann, professeur de droit numérique à Cornell, y ont vu une base juridique potentielle pour aspirer des contenus de sites et les réutiliser pour l’IA, y compris en passant outre robots.txt. Meta a contesté cette lecture. Andy Stone et Daniel Roberts ont d’abord affirmé qu’il n’y avait « no change to how Meta uses web crawlers; any suggestion to the contrary is false. » Puis Roberts a précisé : « We’ve heard you and want to clarify: the crawling terms we consolidated only applied to our ads and business products, and we’ve clarified that in the terms themselves. It does not change how Meta uses web crawlers. As always, content owners can use robots.txt to signal their preferences. This is not about scraping news sites, and these updates don’t give us new rights that supersede those preferences. »

Autrement dit, la firme a préféré retirer la phrase plutôt que laisser durer l’ambiguïté. Un choix simple, et souvent plus efficace qu’une séance de relations publiques prolongée.

Les éditeurs ferment la porte aux crawlers d’IA

Ce recul de Meta intervient au moment où de plus en plus de sites durcissent leur politique vis-à-vis des bots. Une analyse publiée sur Dev.to le 2 août 2026, portant sur les 2 000 plus grands domaines du web, montre que 292 domaines sur 1 530 disposant d’un robots.txt accessible, soit 19,1 %, bloquent au moins un des quatre grands crawlers d’IA: GPTBot, ClaudeBot, Google-Extended ou PerplexityBot. Un an plus tôt, ce type de blocage restait marginal.

Cloudflare a aussi changé d’échelle. Depuis le 15 septembre 2026, tout nouveau domaine inscrit sur sa plateforme voit les bots classés « Training » ou « Agent » bloqués par défaut sur les pages comportant de la publicité, tandis que les robots d’indexation liés à la recherche restent autorisés. La règle a ensuite été étendue aux clients existants du niveau gratuit et aux nouveaux sites de clients déjà présents. Cloudflare distingue trois catégories: Search pour l’indexation, Training pour la collecte de données d’entraînement, et Agent pour les bots qui agissent en temps réel pour un utilisateur.

Quand les robots prennent plus qu’ils ne renvoient

Les éditeurs ne protestent pas seulement contre le principe. Ils regardent aussi les chiffres. Selon les données de Cloudflare Radar citées dans les sources, ClaudeBot d’Anthropic a parcouru 23 951 pages pour chaque renvoi vers un éditeur au premier trimestre 2026, puis 1 917 pour 1 en juillet 2026. GPTBot d’OpenAI affichait 1 276 pour 1 sur la période janvier-mars 2026, puis environ 251 pour 1 en juillet, contre 1 104 pour 1 un an plus tôt. Le problème est arithmétique: un robot qui prélève massivement sans ramener de lecteurs coûte de l’infrastructure sans générer de recette publicitaire.

Les sites ne se contentent plus de bloquer bot par bot. L’étude Dev.to relève que 75 % des domaines qui bloquent au moins un robot en bloquent trois ou quatre d’un coup, signe d’une politique de plus en plus collective. Et quand un site veut protéger l’entraînement mais pas le référencement, la situation se complique: Googlebot, Bingbot ou Applebot combinent plusieurs usages, ce qui peut rendre le blocage plus large que prévu.

Le web public entre indexation et prélèvement

La ligne de fracture est désormais claire. Les moteurs de recherche traditionnels rendaient un service en échange de leur passage. Les crawlers d’IA, eux, extraient des données pour alimenter des modèles et, parfois, des agents qui consultent le web en direct. Dans ce contexte, la neutralité du robots.txt ressemble de moins en moins à un accord tacite et de plus en plus à une simple demande polie. Ce n’est pas rien: la bataille se joue sur la capacité des éditeurs à décider qui peut lire leurs pages, et dans quel but.

Pour Meta, la correction de formulation évite d’entretenir le soupçon d’un droit implicite au scraping de sites d’information. Pour le reste du secteur, elle rappelle surtout que la guerre des robots se gagne désormais autant dans les conditions d’utilisation que dans le code des crawlers.

Points clés

  • Meta a retiré une clause contestée le 17 octobre 2026.
  • 19,1 % des sites étudiés bloquent au moins un crawler d’IA.
  • Cloudflare bloque par défaut les bots « Training » et « Agent ».
  • ClaudeBot a atteint 23 951 pages pour 1 renvoi au T1 2026.
  • Robots.txt reste une préférence, pas une barrière technique absolue.

En chiffres

  • 1 530 domaines — échantillon accessible en robots.txt, analyse Dev.to du 2 août 2026.
  • 292 domaines — sites bloquant au moins un des quatre grands crawlers d’IA.
  • 19,1 % — part des domaines bloquant au moins un crawler, étude Dev.to.
  • 23 951 pages pour 1 renvoi — ratio ClaudeBot au premier trimestre 2026, Cloudflare Radar.
  • 1 276 pages pour 1 renvoi — ratio GPTBot de janvier à mars 2026, Cloudflare Radar.

À lire