robots.txt et sitemap.xml sur 1 000 sites publics locaux français (octobre 2026)

Description

Relevé reproductible, mesuré le 16 octobre 2026, de la présence d'un fichier robots.txt et d'un sitemap.xml sur 1 000 sites web de collectivités et services publics locaux français.

Population : l'annuaire officiel Service-public.gouv.fr, base de données locales (DILA, Licence Ouverte), version du 31 juillet 2026. Échantillon : 1 000 domaines tirés au hasard avec la graine fixe 20260802, le même que les relevés publiés en août et les 14, 15 et 16 octobre 2026.

Méthode : GET de /robots.txt, de /sitemap.xml et d'une adresse inexistante en contrôle (les domaines qui répondent 200 à tout sont écartés). Un robots.txt compte s'il est servi en 200 et n'est pas une page HTML ; un sitemap.xml s'il est réellement du XML de sitemap. Témoins : service-public.fr et cloudflare.com valides, example.com sans les deux fichiers.

Résultats : 783 domaines concluants (138 sans réponse HTTPS, 79 répondent 200 à tout). robots.txt valide : 651 (83,1 %), dont 409 (52,2 %) déclarent un sitemap. sitemap.xml valide : 512 (65,4 %). Ni l'un ni l'autre : 110 (14,0 %). Blocage général (User-agent: * puis Disallow: /) : 4, relus à la main ; l'un n'autorise que les robots de Google, ce qui exclut Bing et les moteurs qu'il alimente.

Ce que ce n'est pas : un audit de référencement ; un sitemap peut être déclaré ailleurs que dans robots.txt. Citer la date de mesure.

Producteur : ZAX, référencement naturel et création de sites. Ce que coûte le référencement d'un site : https://z-ax.com/fr/blog/prix-referencement-naturel-2026/

Producteur
Leroy Leroy
Ce jeu de données a été publié à l'initiative et sous la responsabilité de Leroy Leroy.
Dernière mise à jour
  • Documentation des fichiers manquante

  • Couverture temporelle non renseignée

  • Couverture spatiale non renseignée

Une nouvelle navigation dans les ressources est disponible
2 fichiers principaux

Mis à jour json (600,0 o)6

Mis à jour csv (37,8 Ko)7