Plus le taux de crawl est élevé, meilleure est l’indexation donc meilleur est le référencement naturel. On a donc intérêt à travailler le taux de crawl sur son site, c’est ce que nous explique la présentation d’aujourd’hui de SEM Rush.
Le travail du Googlebot est de collecter et classer la liste des URLs rencontrés, de noter leur accessibilité, les réponses du serveur et de collecter le contenu web.
Le nombre de sites web a été multiplié par 3 depuis 2010. Or le crawling de Google a des limites : il a donc fallu que les webmasters s’adaptent en priorisant les liens sur les sites pour guider le Googlebot vers le type de contenu à crawler. Le webmaster a donc finalement un rôle de planificateur, c’est lui qui décide quels URLs vont « nourrir » les robots.
A retenir:
- Utilisez un « plan de site » (sitemap) compréhensible par les robots (fichier XML) pour informer les moteurs de recherche des adresses de votre site disponibles à l’indexation.
- La vitesse du site compte pour le Googlebot : Un site rapide à charger améliore la fréquence de ses visites alors que si le site est lent, le robot n’a pas le temps de visiter tous les URLs.
- Aidez-vous d’outils adaptés tels que Google Search Console, ou Sem Rush. Bloquez aussi les contenus en double en les canonicalisant avec les fichiers « htaccess » présents à la racine de votre site pour permettre au moteur de recherche de ne plus les considérer comme dupliqués.
Autres sources pour rédaction:
Sitemaps
Le htaccess et ses fonctionnalités
L’importance de la canonicalisation
