Dans une stratégie SEO, le crawl consiste à l’exploration et l’analyse plus ou moins régulière des pages d’un site internet par les moteurs de recherche. Le but étant de les indexer par la suite, pour les analyser et leur donner une note de pertinence.
Pour crawler une page, Google passe par les liens entre les sites, mais aussi entre les pages d’un site. Il suit tous les liens et peut ainsi découvrir bon nombre d’urls qu’on ne souhaite pas voir indexées ou qui sont inutiles en terme de performance et de conversion.
Il est important d’optimiser certains éléments pour que le crawl soit rapide et efficace :
L’optimisation du crawl est une optimisation technique sur le site. On a beau dire qu’en référencement naturel « le contenu est roi », encore faut-il que les moteurs de recherche parviennent à découvrir ce contenu. Pour trouver ce contenu, Google et les moteurs de recherche parcourent les liens sur le site et entre les sites. Il suit tous les liens et peut ainsi découvrir bon nombre d’urls qu’on ne souhaite pas voir indexées ou qui sont inutiles en terme de performance et de conversion. Ou au contraire, ne pas trouver des pages que vous souhaiteriez rendre visible.
Un crawl bien optimisé va donc favoriser le positionnement des pages stratégiques mais aussi booster le PageRank de ces pages (ce qui améliore le positionnement, la boucle est bouclée).
Travailler le contenu d’un site sans surveiller ses performances de crawl peut revenir à donner des coups d’épée dans l’eau. Passer du temps à optimiser des contenus que Google ne vient pas voir est tout à fait inutile.