Vous vous êtes déjà demandé comment les robots des moteurs de recherche crawlent (explorent) votre blog ? Combien de pages sont visitées par Googlebot, repasse-t-il tous les jours et sur quelles pages ?
Bien que les outils pour webmasters de Google permettent de voir l’activité de Googlebot et le nombre de pages explorées par jours (Statistiques > Statistiques sur l’exploration), et qu’il est même possible de définir la vitesse d’exploration de celui-ci (Outils > Définir la vitesse d’exploration), il n’en n’est pas de même avec les autres moteurs de recherche.
C’est là que le plugin Crawl Rate Tracker entre en scène car il est capable de surveiller les activités de Googlebot, Yahoo Slurp, MSNbot et Technorati sur votre blog. Vous avez accès à un rapport détaillé de l’activité pour votre domaine mais également pour chacune de vos pages.
Étudier la vitesse d’exploration est important car cela permet de savoir quelles sont les pages les plus « trustées », c’est-à-dire celles dans lesquelles les moteurs de recherche ont le plus « confiance » (notamment Google). Plus Google « trust » une page, plus la fréquence de (re-)visite de celle-ci sera importante. Si vous liez une page et que votre taux d’exploration pour celle-ci augmente soudainement, vous pouvez être certain que les liens sont très « trustés » pour cette page et que vous devriez essayer d’en obtenir un peu plus.
Plugin très pratique. Ce qui me dérange toujours, c’est que certains jours, google va te crawler des centaines de pages et le lendemain, à peine une dizaine, c’est très curieux… Sinon, je suis d’accord avec toi, mes pages les plus crawlées sont aussi les plus visitées depuis google…
Autre point, le plugin est incompatible avec la dernière version de « redirection » :(