C’est un des effets de Google : le référencement surcharge les serveurs.
Dans plusieurs pays et notamment en France, Google a une position de monopole. Et pour garder cette première place vis à vis de ses concurrents, il doit conserver ses secrets de fabrication et être ultra réactif. Pour assurer ce dernier point, il faut qu’il scanne l’ensemble des sites de l’internet en permanence afin de traquer le moindre changement au niveau des contenus de pages et des nouvelles pages web, afin de réorganiser les classement du référencement pratiquement en direct.
Comment Google scanne les sites web ?
Dans les logs de connexion d’un site web, il est identifié par “Googlebot”. C’est l’agent qui vient inspecter les pages de votre site web. Il vérifie les changements du contenu des pages, ainsi que l’apparition de nouvelles pages dans l’architecture de votre site web.
Mais tous les sites web ne sont pas égaux devant Google… Certains sont modifiés plusieurs fois par jour, comme les forums par exemple, et d’autres ne sont modifiés que très rarement, comme certains sites vitrines.
Google va donc enregistrer ce type de fréquence, et revenir scanner le site web avec une fréquence équivalente ou supérieure. Ce qui concrètement dans les fichiers de logs d’un forum peut se traduire par des connexions de l’agent Googlebot plusieurs fois par seconde !
C’est d’ailleurs l’un des facteurs qui améliorent le référencement d’un site internet : sa fréquence de changement du contenu des pages web. Ce n’est pas le seul facteur, bien évidemment.
Trop de visites, ralentissent le site web, et indirectement le référencement.
Plusieurs logs par seconde, en plus des visiteurs réels, cela consomme de la ressource serveur. La machine peut avoir quelques pics de surcharge, et donc ralentir l’affichage des sites web du serveur. Ce qui implique un effet paradoxal : une dégradation du référencement web du site internet.
- Les visiteurs réels ne reviennent plus sur un site trop lent.
- Baisse des visites des internautes réels.
- Augmentation du taux de rebond (un visiteur repart dès la première page affichée)
Comment ralentir cette fréquence des visites de Googlebot ?
Pas avec le fichier robots.txt, car ce dernier n’est pas pris en compte par Googlebot. Le seul moyen est de rattacher le site incriminé à un compte Google webmaster et de programmer la fréquence des visites de Googlebot au minimum, ce qui concrètement descend la fréquence qu’à une visite toutes les 500 secondes.
Conclusion :
Le nombre de visiteurs réels, et surtout d’utilisateurs qui vont modifier le contenu de pages ou en créer d’autres (forums, magasines en ligne…), va engendrer une augmentation des connexions de l’agent Googlebot pour scanner le site web. Ceci va augmenter la taille du fichier de logs et consommer de la ressource serveur.
Cet effet paradoxal du référencement est un peu comme appuyer sur la pédale des freins, en même temps que celle de l’accélérateur. Il faut donc trouver un compromis pour optimiser le référencement du site web afin que cet effet paradoxal ne lèse pas trop la qualité du référencement du site web.
POUR PLUS D’INFORMATIONS
OU UNE DEMANDE SUR MESURE :
CONTACTEZ-NOUS…
Articles connexes :
LES FICHES TECHNIQUES :
>> Le principe du référencement naturel…
>> Le référencement web : une histoire de compétition…
>> L’optimisation web pour un bon référencement naturel de votre site internet…
>> Un cas concret d’évolution du référencement d’un site web…
>> Le point sur le référencement naturel…