L’outil OnCrawl : un Logiciel crawleur SEO et un Analyseur de Logs efficace


architecture oncrawal
Visiter le site Oncrawl

Créé par la startup bordelaise Cogniteev il y a trois ans, OnCrawl est un crawler SEO également utilisé dans l’analyse de logs. Il est apparu grâce à une association technologique avec le premier site français de commerce en ligne Cdiscount, désireux de résoudre ses insuffisances en termes de référencement naturel. Conçu essentiellement pour les sites de e-commerces et les portails médias, OnCrawl fournit des tableaux de contrôle clairs, fiables et faciles à utiliser.

OnCrawl se comporte comme Google en explorant toutes les pages d’un site. Il permet de faire un bilan de santé complet d’un site et de corriger toute anomalie grâce à des mesures efficaces.

Le concepteur d’OnCrawl souhaitait faire profiter à ses usagers les technologies Big Data et de sémantique.

OnCrawl n’est pas seulement un crawler. Il croise de nombreux sets de données pour déterminer l’effet de la volumétrie, des backlinks, des logs sur le taux de crawl et renseigne sur les pages génératrices de trafic (SEO). Il simplifie la vie des SEO.

OnCrawl dans la gestion des problèmes relatifs aux SEO

Avec plus de 450 indicateurs disponibles, OnCrawl fournit des solutions efficaces face aux  problèmes rencontrés par les SEO. Il analyse notamment la structure et le comportement de Google mais aussi le contenu et la visibilité des sites.

OnCrawl un outil de crawlabilité et d’indexation

OnCrawl repère les nouvelles pages crawlées. Ce crawl détermine le comportement de Google. Comme le comportement du Googlebot dépend de la taille d’un site web et de sa thématique, OnCrawl aide à connaitre tous les éléments de classement qui sont capables d’affecter la crawlabilité.

OnCrawl permet aussi d’examiner la disponibilité des pages crawlées. Le taux de crawl varie en fonction des redirections ou erreurs 4xx. En se basant sur les indicateurs comme l’architecture, la profondeur, le contenu et la popularité interne d’un site web, ce programme dévoile comment les robots considèrent chacun de ces critères.

architecture oncrawal

Analyse des pages orphelines

OnCrawl fait une analyse croisée de logs et de crawl et offre ainsi la possibilité aux utilisateurs d’opérer des choix judicieux. Il leur fournit tous les détails sur les pages orphelines (nombre, proportion active, consommation du budget de crawl…), c’est-à-dire les pages qui ne reçoivent aucun lien de la part du site.

OnCrawl détermine si ces pages orphelines se positionnent, si elles sont rattachées à des backlinks ou si elles sont alimentées par un trafic organique.

OnCrawl pour un suivi du budget de crawl

Avec OnCrawl, l’utilisateur peut avoir une idée du budget de crawl de Google. Plus précisément, OnCrawl indique comment Google gère la répartition des dépenses de ressources durant le crawl et s’il les consacre aux pages les plus pertinentes. Il vérifie l’adéquation entre les facteurs SEO on-page et le comportement de Google d’une part et entre les facteurs SEO on-page et la proportion de crawl d’autre part.

Les analyses croisées obtenues par le biais de cet outil permettent de prévoir l’influence d’un facteur sur le comportement du robot et d’évaluer le taux de crawl par segment ou profondeur.

Comportement du crawl

OnCrawl participe à la qualité du contenu

OnCrawl fonctionne sur une approche sémantique et propose des tableaux de bord consacrés à la qualité de contenu. Il travaille essentiellement sur les classements, les pages à faible contenu, les séquences de mots et l’effet des optimisations de contenu. Il attribue au moins une soixantaine d’indicateurs au contenu. D’autres paramètres tels que les données structurées, le rapport texte/code et les données meta des images sont utiles pour améliorer la qualité des contenus pour les SEO.

OnCrawl prend en compte les intégrations AMP, la playload et les balises hreflang pour suivre les évolutions mobiles et les enjeux internationaux.

OnCrawl analyse les contenus dupliqués

En matière d’identification de contenu dupliqué, OnCrawl est un outil majeur. Il permet de trier par ratio de similarité, de prendre en charge les canoniques et de fixer un seuil critique selon la taille du site suivant son approche linguistique.

OnCrawl parcourt les différentes pages du site à partir des treemap qu’il fournit. Il permet de trouver la cause du problème et les endroits les plus touchés. L’indicateur utilisé est le ratio de similarité.

Fréquence de crawl par profondeur

OnCrawl est une mesure de performance

OnCrawl permet de déterminer la performance d’un site en évaluant l’impact de son contenu. Pour cela, il fait des analyses combinées pour relever les insuffisances liées au poids et au temps de chargement par page, à la profondeur ou au groupe ainsi que l’impact de ces performances sur le ratio de crawl. La durée de chargement est un critère de performance déterminant sur l’expérience utilisateur et sur le positionnement de son site.

OnCrawl analyse la structure interne des sites

OnCrawl a instauré le système d’Inrank. Il s’agit d’un PageRank interne qui sert à jauger la popularité qui se transmet d’une page à une autre. OnCrawl analyse ainsi l’architecture du maillage interne d’un site web. Il indique comment cette ossature bouleverse l’ordre des classements.

À travers cette analyse, OnCrawl détermine l’audience de toutes les parties d’un site web grâce au comportement des liens internes et externes (jus de lien, pages prioritaires, accessibilité, boucles de direction). Il sera ainsi possible d’intervenir sur le maillage interne dans les moindres détails.

OnCrawl mesure le trafic SEO

OnCrawl procède à une analyse organique du trafic SEO. L’outil peut cerner comment il est réparti dans les groupes de pages, collecter les métriques SEO des pages actives et ajuster les paramètres requis.

Les métriques d’usage sont prises en compte depuis la première mise à jour Panda. D’ailleurs, les résultats de l’analyse de OnCrawl permettent d’évaluer l’effet des optimisations de contenu.

L’analyse du trafic sert notamment à définir le taux de rebond seuil à ne pas dépasser sous peine de subir les pénalités Panda.

OnCrawl propose des offres avancées et remarquables

OnCrawl a été conçu pour être utilisé aisément par les SEO. Il fournit non seulement des tableaux de bord visuels et actionnables, mais aussi de profondes analyses techniques. Il regroupe de nombreuses fonctions dont la segmentation des analyses par groupe de pages.

OnCrawl propose une excellente méthode de scraping via une extraction des données issues du contenu d’un site par le biais de xpath ou de regrex. Il est ensuite possible de les manipuler dans le Data Exploreur. Le Data Exploreur permet d’installer des filtres personnalisés concernant l’ensemble des métriques sur les facteurs de classement.

En combinant sets de données et données de crawl initialement apportées, OnCrawl est efficace pour :

  • cibler les produits semblables ou complémentaires,
  • recueillir le nombre précis de commentaires édités par article,
  • rassembler le nombre d’annonces de différents formats,
  • lire n’importe quel commentaire,
  • consulter le coût d’un produit quel qu’il soit,
  • contrôler un plan de marquage,
  • s’assurer de l’état outils employés pour les annonces.

OnCrawl qui fonctionne sur le principe de recherche et de développement, est centré sur un support technologique intégrant le Big Data, la sémantique et le crawl. L’infrastructure informatique qui l’accompagne produit une scalabilité impressionnante avec plus de 15 millions d’URL et 40 millions de lignes de log par jour qui sont analysées périodiquement.

En définitive, OnCrawl constitue une formule fiable de suivi de performance utilisée dans la mise en place des roadmaps. Profitez des deux semaines d’essai gratuit pour un usage plus confortable. OnCrawl est accessible sur https://fr.oncrawl.com.