Cloudflare, fournisseur majeur de l’infrastructure Web mondiale, vient de frapper un grand coup dans la lutte contre l’exploitation non autorisée des contenus par les intelligences artificielles. Désormais, tous les nouveaux domaines configurés via Cloudflare bloquent automatiquement les crawlers IA.
Les propriétaires doivent explicitement donner leur accord pour permettre l’accès, inversant ainsi la logique jusque-là dominante du « opt-out ».
« Si Internet compte survivre à l’ère de l’IA, nous devons donner aux éditeurs le contrôle qu’ils méritent et bâtir un nouveau modèle économique qui convienne à tous : aux créateurs, aux consommateurs, aux fondateurs de l’IA de demain et même à l’avenir du web lui-même », explique Matthew Prince, cofondateur et CEO de Cloudflare. « Le contenu original constitue l’essence même de ce qui fait d’Internet l’une des plus grandes inventions du siècle dernier et il est essentiel que les créateurs continuent à en produire. Les robots d’exploration IA extraient du contenu de manière totalement débridée. L’objectif que nous poursuivons consiste à redonner le pouvoir aux créateurs, tout en permettant aux entreprises d’IA de continuer à innover. L’idée ici est de préserver l’avenir d’un Internet libre et dynamique à l’aide d’un nouveau modèle qui fonctionne pour tout le monde ».
Pay Per Crawl : vers une économie équitable de la donnée
En parallèle, Cloudflare introduit un concept inédit : Pay Per Crawl, une marketplace où les éditeurs peuvent fixer un tarif unitaire pour chaque visite d’un bot IA sur leur site. Ce système repose sur un mécanisme simple : chaque crawl est monétisé, et Cloudflare se positionne en intermédiaire entre éditeurs et entreprises d’IA. Le but : garantir une rémunération juste pour chaque consultation de contenu.
Cette initiative est actuellement en bêta privée avec plusieurs grands groupes de presse, comme TIME, The Atlantic, The Associated Press ou encore Conde Nast.
Plus de transparence dans l’identification des crawlers
Cloudflare pousse aussi pour une identification obligatoire et normalisée des bots IA. Chaque crawler devra déclarer son objectif (entraînement, inférence, recherche, etc.), permettant ainsi aux éditeurs de décider en connaissance de cause à qui ils ouvrent l’accès à leurs données.
Des chiffres qui interpellent
Selon Cloudflare, le ratio entre crawls et visites référencées est devenu problématique :
- Le Googlebot crawle un site 14 fois pour chaque clic réel envoyé.
- Le bot d’OpenAI grimpe à 1 700 crawls par clic.
- Celui d’Anthropic atteint même 73 000 crawls pour une visite.
Ces chiffres démontrent un déséquilibre profond entre l’extraction de contenu et les retombées pour les éditeurs.
Une vision tournée vers l’avenir des agents IA
Cloudflare imagine déjà une intégration à grande échelle avec des agents IA autonomes, capables de naviguer sur le Web en temps réel pour répondre à des requêtes complexes. Dans cette optique, Pay Per Crawl pourrait devenir une forme de « paywall programmatique », intégrée directement à l’infrastructure du Web.
En combinant blocage par défaut, transparence et monétisation unitaire des accès IA, Cloudflare redonne le pouvoir aux éditeurs de contenu. Alors que les chatbots et agents intelligents deviennent de plus en plus populaires, cette initiative pose les bases d’un Web plus juste et durable, où les créateurs sont enfin rémunérés pour la valeur qu’ils produisent.