Pour connaître l’activité des crawlers de moteurs de recherche , les utilisateurs peuvent utiliser Screaming Log File Analyser.
Visiter le site : Screaming Frog Analyser
Les fonctions de base de Screaming Log File Analyser
Screaming Log File Analyser est surtout utilisé pour :
- Connaître les URL crawlées par les robots des moteurs de recherche
- Etre informé de la fréquence de crawl
- Relever les URL en erreur (status code défaillant)
- Relever les URL avec des redirections superflues
- Repérer les URL trop lentes à charger
- Repérer les URL orphelines et qui ne sont pas suffisamment crawlées
Les différents onglets
Chaque onglet que Screaming Log File Analyser joue un rôle spécifique.
Overview
Grâce à cette fonction, vous pouvez délimiter votre analyse en vous basant sur la période et la catégorie de robots. Nous distinguons ici six catégories de robots : Googlebot, GooglebotSmartphone, GooglebotMobile, Bingbot, Baïdu et Yandex.
Après soumission de votre projet, un tableau de bord est généré et propose un récapitulatif de vos logs. La première partie affiche les informations brutes telles que le nombre unique d’URL crawlées, le nombre unique d’URL journalières crawlées, le nombre de hits, le nombre de hits journaliers et les entêtes http des URL.
Visiter le site : Screamingfrog Log analyser
URL
Dans cet onglet, les URL sont affichées et peuvent être regroupées par type : HTML, PDF, JAVASCRIPT, IMAGES … Il s’agit en réalité des URL qui ont connu au minimum un hit au cours de la période examinée.
Lorsque vous sélectionnez une URL donnée, vous accédez aux informations suivantes :
- User Agent
- Adresse IP
- Horodatage des hits
- Entête http
Response Codes
Cet onglet analyse les codes réponses http. Avec le mode de répartition, vous pouvez classer vos URL en fonction de leur status code et ainsi réparer toutes celles présentant une anomalie (URL en erreur 404 ou celles aux status code instables).
User Agents
Cette fonctionnalité vous aide à étudier en détail la fréquence de crawl par user agent et les status codes que le robot a crawlé.
Synthèse
Facile à manipuler, Screaming Log File Analyser sera pleinement utilisé à condition de bien s’y connaître en analyse et en interprétation de logs.
Pour utiliser ce logiciel, rendez-vous sur https://www.screamingfrog.co/uk/log-file-analyser/.
Bien que la formule soit payante pour un prix de 99£ (licence annuelle), une version gratuite est disponible pour un import de 1000 URL maximum.
