Fichier robots.txt

Le fichier robots.txt est un fichier texte placé à la racine d'un site, à l'adresse /robots.txt, dans lequel le propriétaire indique aux robots d'exploration (les « crawlers » des moteurs de recherche) les parties du site qu'il leur demande de ne pas parcourir. Il applique le protocole d'exclusion des robots, imaginé en 1994 et normalisé en 2022 par l'IETF dans la RFC 9309. Selon ce texte, le fichier doit se trouver au chemin /robots.txt en minuscules, être encodé en UTF-8 et servi en texte brut. Il est organisé en groupes : une ligne User-agent désigne le robot concerné (l'étoile désigne tous les robots), suivie de lignes Disallow pour les chemins à ne pas explorer et Allow pour les exceptions. Un fichier absent ou un groupe sans règle signifie que tout est autorisé. On y ajoute aussi souvent une ligne Sitemap indiquant l'adresse du plan du site. Il faut bien comprendre ce que le robots.txt n'est pas. La RFC précise que ces règles ne constituent pas une autorisation d'accès : ce sont des demandes que les robots respectueux choisissent d'honorer. Elle ajoute que ce protocole ne remplace pas de vraies mesures de sécurité, et que lister des chemins dans le fichier les rend publiquement découvrables. Ne placez donc jamais d'adresse confidentielle dans un robots.txt : protégez-la par une authentification. Google rappelle de son côté que le fichier sert surtout à gérer le trafic des robots, et qu'il ne faut pas l'utiliser pour masquer une page des résultats de recherche : si d'autres pages pointent vers elle avec un texte descriptif, l'adresse peut tout de même être indexée sans que la page ait été visitée. Pour empêcher l'affichage d'une page, on emploie une autre méthode, comme la directive noindex ou une protection par mot de passe. La principale erreur d'une PME est un accident de mise en production : un site de test est souvent bloqué par une règle Disallow qui interdit tout, et si ce fichier est copié tel quel sur le site définitif, les moteurs n'explorent plus rien. Contrôler le fichier de production après chaque mise en ligne ou migration prend une minute et évite des semaines de visibilité perdue.