Ils sont identifiables dans le robots.txt, et la distinction compte : certains téléchargent pour entraîner des modèles, d'autres en direct pour répondre à une question posée à l'instant. Bloquer les premiers en autorisant les seconds est une position cohérente pour un éditeur ; tout bloquer est cohérent pour certains modèles économiques et constitue un accident coûteux pour la plupart des autres.
Deux points pratiques. La plupart de ces robots n'exécutent pas JavaScript : un contenu rendu côté client leur est invisible, quel que soit votre robots.txt. Et un blocage général arrive souvent par défaut, via une règle de prestataire de sécurité ou de CDN, plutôt que par décision — vérifiez ce que fait réellement votre infrastructure avant de supposer que votre politique est celle que vous vouliez.