SEO technique

robots.txt

Le fichier robots.txt, à la racine d'un domaine, indique aux robots quels chemins ils peuvent demander. Il contrôle l'exploration, pas l'indexation, et il est public.

L'erreur la plus coûteuse du SEO tient en une ligne : un `Disallow: /` passé de la préproduction à la production. C'est aussi la plus fréquente, et elle est invisible dans l'interface — rien ne semble cassé pendant que le trafic s'érode les semaines suivantes. Vérifiez le fichier en ligne après chaque déploiement touchant à l'infrastructure.

Un Disallow ne retire pas une URL de l'index ; il empêche le robot de la télécharger, ce qui peut laisser une URL déjà indexée affichée sans description. Pour retirer une page des résultats, autorisez l'exploration et servez une directive `noindex`. Bloquer une URL porteuse d'un noindex empêche le moteur de voir l'instruction.

Termes liés

Guides sur le sujet