C'est la seule source de vérité sur le comportement des robots. Les simulateurs de crawl montrent ce qu'un robot pourrait faire ; les logs montrent ce qu'il a fait. Sur les gros sites, les constats sont régulièrement inconfortables : l'essentiel du budget dépensé sur des URL à paramètres, des pages de catégorie clés téléchargées deux fois par an, et une longue traîne de 404 dont personne ne soupçonnait l'existence.
Vérifiez l'agent utilisateur avant de lui faire confiance, puisque n'importe qui peut se déclarer Googlebot ; une résolution DNS inverse sépare les vrais robots des imposteurs. Segmentez ensuite par gabarit plutôt que par URL : l'enseignement exploitable est presque toujours « toute cette section est ignorée », pas une page manquante isolée.