Les robots de Google

Par Aurélien Bardon : Les robots de Google

Pour indexer les pages Web, Google à constitué une armée de robots.

Cette armée de robots parcourt inlassablement le Web afin de découvrir les nouvelles pages et de mettre à jour les pages déjà indexées.

Comme dans chaque armée, les soldats n'ont pas tous le même rôle et le même grade.

Ainsi il existe plusieurs types de robots dans l'armée de Google. Souvent, on résume le nom de ces robots avec le mot GoogleBot.

Les plus connus sont :

Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Mozilla/5.0 (compatible ; Googlebot/2.1 ; +http://www.google.com/bot.html)

Il semble que le dieu Google ait envoyé à la casse son vieux modèle de robots Googlebot/2.1 pour le remplacer définitivement par Mozilla/5.0 qui normalement est capable de détecter les redirections javascript frauduleuses. (BMW pourra le confirmer)

Il existe un robot spécial de Google appelé Mediapartners qui permet à Google de cibler efficacement les publicités Adsense.

D'après Google, le fait d'utiliser des Adsenses sur une page ne change en rien le ranking d'un site dans les résultats des recherches.

Pourtant, aujourd'hui une étrange constatation est effectuée. Il semblerait que le robot Mediapartners soit capable de mettre à jour le cache des pages déjà présentes dans l'index de Google.

Sources :

Ressources (pour les adeptes de cloaking) :

Aurélien Bardon