SEO technique

robots.txt

Le fichier robots.txt, à la racine d'un domaine, indique aux robots quels chemins ils peuvent demander. Il contrôle l'exploration, pas l'indexation, et il est public.

Un réseau de connexions tracé entre des nœuds, en illustration de la définition SEO de robots.txt
Le fichier robots.txt, à la racine d'un domaine, indique aux robots quels chemins ils peuvent demander. Il contrôle l'exploration, pas l'indexation, et il est public.Photo : Merlin Lightpainting / Pexels

L'erreur la plus coûteuse du SEO tient en une ligne : un `Disallow: /` passé de la préproduction à la production. C'est aussi la plus fréquente, et elle est invisible dans l'interface — rien ne semble cassé pendant que le trafic s'érode les semaines suivantes. Vérifiez le fichier en ligne après chaque déploiement touchant à l'infrastructure.

Un Disallow ne retire pas une URL de l'index ; il empêche le robot de la télécharger, ce qui peut laisser une URL déjà indexée affichée sans description. Pour retirer une page des résultats, autorisez l'exploration et servez une directive `noindex`. Bloquer une URL porteuse d'un noindex empêche le moteur de voir l'instruction.

Termes liés

Guides sur le sujet