Un robot Anthropic explore aujourd’hui 20 583 pages pour renvoyer une seule visite à l’éditeur qui les a produites. Ce chiffre, révélé par plusieurs analyses de logs serveur en 2026, résume à lui seul le dilemme que vivent tous les propriétaires de sites depuis un an : faut-il laisser les robots d’intelligence artificielle aspirer son contenu, le bloquer, ou trouver une voie intermédiaire ? La réponse n’est plus une question de principe, mais une question de données.
Les robots IA représentent déjà un tiers du trafic web
Selon les mesures de trafic serveur publiées en 2026, les bots représentent désormais environ 30,6 % de l’ensemble du trafic web, une part en croissance continue depuis deux ans. Mais tous les robots ne se valent pas : sur le trafic généré spécifiquement par les crawlers d’IA, 89,4 % sert à l’entraînement de modèles ou à des usages mixtes, seulement 8 % relève d’un usage de recherche, et à peine 2,2 % correspond à une requête réelle d’utilisateur en train de lire une réponse générée.
Concrètement, pour un site de taille moyenne, cela signifie que la grande majorité des passages de robots IA n’apportent aucune valeur immédiate : ni clic, ni lecteur, ni conversion. Ils consomment de la bande passante, sollicitent le serveur, et alimentent des modèles qui ne renverront peut-être jamais de visiteur.
Qui crawle le plus, et qui se fait bloquer
L’analyse de robots.txt sur un échantillon de plus de 4 000 sites montre un basculement net en 2026 : la proportion de sites bloquant au moins un crawler IA est passée de 3,63 % à 8,56 % en quelques mois. Le classement des robots les plus bloqués donne une idée claire des rapports de force :
- GPTBot (OpenAI) — bloqué dans 5,52 % des règles Disallow analysées
- CCBot (Common Crawl) — 5,08 %
- ClaudeBot (Anthropic) — 4,88 %, en forte progression depuis avril 2026
- Google-Extended — 4,44 %
- Bytespider (ByteDance) — 4,23 %
La montée de ClaudeBot dans ce classement n’est pas un hasard : c’est précisément le robot au ratio crawl/référence le plus déséquilibré du secteur, ce qui explique la frustration croissante des éditeurs à son égard.
Le vrai problème n’est pas le crawl, c’est le ratio
Bloquer un robot par principe n’a pas de sens si celui-ci vous envoie du trafic qualifié en échange. Le vrai indicateur à surveiller est le ratio entre pages crawlées et visiteurs renvoyés :
- ClaudeBot : environ 20 583 pages crawlées pour 1 visite renvoyée
- GPTBot / OpenAI : environ 1 255 pages crawlées pour 1 visite renvoyée
- Meta : un ratio proche de zéro visite renvoyée, quel que soit le volume de crawl
Ces écarts changent radicalement la stratégie à adopter. Un robot qui explore beaucoup mais ne renvoie presque jamais de visiteur pèse sur vos ressources serveur sans contrepartie commerciale claire, alors qu’un robot qui cite régulièrement vos pages dans les réponses génératives peut devenir une source de trafic à forte intention, au même titre qu’un moteur de recherche classique.
Bloquer, autoriser, ou choisir la voie médiane ?
La stratégie qui domine chez les gros éditeurs
Environ 30 % des sites à fort trafic ont adopté une approche différenciée : ils bloquent les robots dédiés à l’entraînement (GPTBot, CCBot, ClaudeBot, Google-Extended) tout en laissant passer les robots dédiés à la recherche et à la citation en temps réel (comme OAI-SearchBot ou Claude-User, distincts de ClaudeBot). L’objectif est simple : rester visible dans les réponses IA sans nourrir gratuitement l’entraînement des modèles concurrents.
Pourquoi bloquer entièrement peut coûter cher
Bloquer un robot d’IA signifie aussi disparaître des réponses génératives où ce robot puise ses sources. Or ces assistants (ChatGPT, Claude, Perplexity, Gemini, Copilot) deviennent une source de trafic à forte intention d’achat ou de recherche d’information précise. Un blocage trop large prive donc le site de citations potentielles, sans nécessairement réduire la charge serveur si d’autres robots continuent de crawler agressivement.
Comment décider pour votre site
Avant de modifier votre fichier robots.txt, quelques vérifications s’imposent :
- Auditez vos logs serveur pour mesurer la part réelle de trafic bot, robot par robot, sur les 30 derniers jours
- Distinguez les user-agents : un robot d’entraînement (GPTBot) n’a pas le même intérêt qu’un robot de recherche en temps réel (OAI-SearchBot)
- Complétez robots.txt par un fichier llms.txt si vous souhaitez orienter finement ce que les modèles peuvent citer
- Réévaluez votre politique chaque trimestre, car les user-agents et les pratiques des éditeurs d’IA évoluent vite
Il n’existe pas de règle universelle : un site e-commerce qui vit de son trafic organique n’a pas les mêmes arbitrages qu’un média qui monétise via la publicité display. Ce qui compte, c’est de prendre cette décision sur la base de vos propres données de logs, pas sur une intuition générale.
Vous voulez savoir quels robots IA visitent réellement votre site et quel est leur impact sur vos performances ? L’équipe de seoforge.io propose un audit SEO complet incluant l’analyse de vos logs serveur et des recommandations concrètes sur votre stratégie robots.txt et llms.txt.
