Les sites publics francais bloquent-ils les robots d'IA ? robots.txt de 3 581 domaines (aout 2026)

Mesure du fichier robots.txt de 3 581 noms de domaine declares par des administrations et organismes publics francais, sous l'angle d'une question de politique publique ouverte : les sites publics autorisent-ils les robots d'indexation des systemes d'intelligence artificielle ? Releve du 25 aout 2026.

Resultat principal : 96,3 % des sites publics dotes d'un robots.txt valide ne bloquent aucun robot d'IA. Sur 2 610 fichiers valides, 96 seulement (3,7 %) en excluent au moins un.

Par robot, part des sites qui le bloquent :

Parmi les 96 sites qui bloquent, 44 ne visent qu'un seul robot et 4 les bloquent tous les onze : le blocage est le plus souvent partiel, ce qui suggere une configuration reprise ailleurs plutot qu'une politique deliberee.

Une precaution de mesure, sans laquelle le denominateur serait faux. 2 777 domaines repondent HTTP 200 sur /robots.txt, mais 167 d'entre eux ne servent pas un robots.txt : ils renvoient une page HTML, souvent leur page « introuvable », avec un code 200. Un fichier n'est retenu ici que si sa reponse n'est pas du HTML et contient au moins une directive User-agent:.

Un piege d'analyse, signale parce qu'il fausse silencieusement les comptages. Un robots.txt peut declarer plusieurs User-agent consecutifs partageant le meme groupe de regles. Un parseur qui n'associe les regles qu'au dernier agent declare manque les groupes du type User-agent: GPTBot suivi de User-agent: CCBot. Les agents sont ici traites par groupe.

Ce que ce jeu de donnees ne dit pas. Il ne mesure pas si les robots respectent ces directives, ni si les contenus sont effectivement utilises pour entrainer des modeles. robots.txt est une convention declarative, pas un controle d'acces. L'absence de blocage ne signifie pas qu'une administration a pris position : dans la majorite des cas, la question n'a probablement pas ete posee, ce qui est precisement l'interet de la mesure.

Limites. La population provient des 10 000 premiers enregistrements de l'Annuaire de l'administration (api-lannuaire.service-public.fr), adresses extraites puis dedupliquees par domaine : elle n'est pas exhaustive de l'administration francaise. 971 domaines n'ont pas de robots.txt valide ou n'ont pas repondu, et figurent au fichier avec leur code de reponse. La mesure a ete faite une fois, sans nouvelle tentative apres echec reseau.

Le fichier contient aussi la declaration d'un sitemap : 57,2 % des robots.txt valides en declarent un.

Mesure realisee dans le cadre de travaux publics sur les fichiers de configuration du web et l'acces des agents automatiques, publies sur anonymflow.com.