Deux forces le déterminent : ce que le serveur peut servir sans se dégrader, et l'appétit du moteur pour votre contenu. Un site de quelques milliers d'URL n'atteindra jamais le plafond. Au-delà d'environ cent mille — catalogues, places de marché, petites annonces — il devient l'un des leviers techniques les plus rentables, car une page jamais téléchargée n'est jamais rafraîchie.
Le correctif se trouve dans le gaspillage. Navigation à facettes générant des millions de combinaisons de paramètres, calendriers infinis, identifiants de session dans les URL, chaînes de redirection et soft 404 consomment des téléchargements qui auraient dû aller aux pages produit. L'analyse de logs est le seul moyen de le voir honnêtement : elle montre ce que le robot a réellement demandé, ce qui ne ressemble en général pas du tout à ce que l'équipe supposait.