Utilisées régulièrement dans les audits SEO, le crawling et l’analyse de logs sont des techniques bien connues par les développeurs et les référenceurs. Le crawling permet aux consultants de découvrir comment les moteurs de recherche « voient » le site à analyser.
Pour ce qui est des logs, il s’agit de fichiers contenant des données brutes demandées par les utilisateurs à partir d’un site web. Une analyse de logs permet alors aux administrateurs web d’identifier la nature de la demande, la source URL de la demande, l’adresse IP à partir de laquelle la demande a été effectuée ainsi que de nombreuses autres données. Ces techniques permettent ainsi d’améliorer l’expérience visiteur des internautes en comprenant leur demandes et ce, tout en améliorant le référencement naturel du site analysé.
Si auparavant, il était nécessaire de passer uniquement par un consultant SEO ou un expert en référencement pour effectuer ce type d’audit, il est désormais possible de le faire soi-même en utilisant des outils dédiés à cet effet. Découvrez ainsi les meilleurs outils pour crawler et analyser des logs pour votre site.
Loggly
Loggly est un logiciel spécialisé dans la recherche de bugs dédié aux entreprises et aux professionnels.
Loggly est un logiciel de recherche de bugs (bugs tracking) classé dans les outils de gestion de journal de classe entreprise. Pour assurer son fonctionnement, Loggly utilise des technologies open source (ElasticSearch, Apache Kafka, etc.) et propose ses services uniquement sur le cloud. Cela permet ainsi aux utilisateurs d’effectuer leur analyse logs sans avoir besoin d’un logiciel.
Avec Loggly, il est possible de découvrir ce que cachent vos journaux grâce à une panoplie de fonctionnalités dont la surveillance proactive. De par cette surveillance, vous pourrez surveiller en temps réel votre journal et avoir un compte-rendu des problèmes. Ces derniers peuvent, par ailleurs, être dépannés de par les fonctions d’analyse et de dépannage de cet outil sur cloud. Enfin, ce dernier analyse et visualise les données d’un site donné afin d’améliorer ses performances.
Loggly est disponible en version gratuite et il est même possible de faire un essai gratuit de l’outil. Néanmoins, pour pouvoir pleinement profiter de ses fonctionnalités, il est conseillé d’opter pour la version payante qui est proposée à partir de 99$ par mois.
Loggly est disponible en version gratuite, un aspect qui représente un sérieux avantage vu qu’il est possible de profiter des fonctionnalités de base de l’outil sans avoir à débourser un centime. D’ailleurs, ces fonctionnalités permettent de surveiller et de réparer efficacement les journaux de votre site.
Oncrawl
Oncrawl e
st un outil créé afin de permettre aux utilisateurs de crawler toutes les pages d’un site web en un seul clic.
Comme son nom l’indique, Oncrawl est un outil permettant aux professionnels du SEO de crawler rapidement toutes les pages d’un site web afin d’optimiser sa place sur les moteurs de recherche. Cet outil convient aussi bien pour les pages d’un site-commerce que pour celles d’un site vitrine dynamique. L’outil est doté de nombreuses fonctionnalités permettant de déceler le dysfonctionnement d’un site en matière de SEO.
Parmi les principales fonctionnalités d’Oncrawl se trouve l’analyse de logs. Ces fichiers logs permettent à l’administrateur web ou au professionnel SEO de déceler les éventuels problèmes du site en bénéficiant d’une vue sous forme de graphique. Outre cela, Oncrawl permet de révéler les divers dysfonctionnements SEO d’un site en évaluant le taux de contenu dupliqué sur le site ou en décelant les erreurs serveurs. L’outil permet aussi d’évaluer l’influence des backlinks sur la fréquence de crawl.
Oncrawl est un outil de crawling et d’analyse de log performant qui propose une version d’essai gratuite. Néanmoins, une version payante est proposée par Oncrawl et cette version est proposée à partir de 49€ par mois. Toutes les fonctionnalités de l’outil sont disponibles dans la version payante mais aussi dans la version gratuite mais pour une durée déterminée pour cette dernière.
Oncrawl a pour principal avantage le fait qu’il soit capable de croiser plusieurs types de données volumineuses de manière efficace, pertinente et professionnelle. De plus, toutes les données analysées sont présentées sous forme de graphiques faciles à interpréter, ce qui représente un gain de temps énorme pour les professionnels SEO devant effectuer l’analyse de performance SEO d’un site aux pages nombreuses et volumineuses.
Seolyzer.io
Seolyzer.io est un outil permettant d’effectuer une analyse SEO de votre site web avec à la clé des conseils et des recommandations.
Seolyzer.io est un outil qui permet d’obtenir des données fiables sur votre site web en vue de l’améliorer. A l’issue de chaque analyse, des statistiques et des retours informatifs sur les logs SEO de votre site vous seront fournis sur une interface ergonomique et simple d’utilisation.
Les logs SEO sont premièrement analysés par Seolyzer.io. Le robot de cet outil passera ensuite en revue le site à analyser en examinant ses pages une par une. Les données SEO (performance SEO par page, volumes de visites, nombre de pages uniques, etc.) ainsi que les anomalies détectées seront ensuite remontées sur une interface et ce, en temps réel. Outre ces données et ces anomalies, les recommandations et les conseils techniques font aussi partie des fonctionnalités de Seolyzer.io. Enfin, Seolyzer.io met à disposition des utilisateurs un crawler permettant notamment de détecter les pages indéxées/indexables du site et de travailler le maillage interne des pages de ce dernier.
Seolyzer.io peut être utilisé gratuitement jusqu’ici vu qu’il n’y a encore aucune version payante.
Le premier avantage réside dans la gratuité de l’utilisation de Seolyzer.io. Outre cela, l’interface de l’outil est ergonomique et facile à prendre en main même si elle semble simple au premier abord. Seloyzer.io permet également de réaliser facilement des audits SEO, des analyses de logs ainsi que des actions de crawling sur un site, peu importe le nombre de pages de ce dernier. Enfin, le service est en constante évolution et le nombre de fonctionnalités est aussi en évolution continue.
Botify
Botify est un crawler créé en 2012 permettant d’optimiser un site en matière de SEO.
Botify est une solution SaaS (Software as a Service) d’optimisation de référencement web. Ce logiciel analyse en profondeur un site web, identifie les anomalies et les possibilités de croissance et pilote le comportement des moteurs de recherche grâce au crawling.
Le logiciel Botify est essentiellement axé sur le crawling. L’outil parcourt ainsi l’intégralité du site afin de collecter des centaines d’indicateurs sur les pages du site. Après la fonction d’analyse et de diagnotic, Botify fournit ensuite un rapport détaillé sur les points de blocage et les perspectives d’amélioration et d’optimisation du site.
Botify ne propose pas de version gratuite. Les tarifs de l’outil varient selon les besoins des utilisateurs. Ces tarifs vont de 39 à près de 899€ par mois.
Le principal avantage de Botify réside dans la qualité des données récoltées par le crawler ainsi que la multitude de fonctions et d‘outils inclus dans le logiciel. Ces données permettent aussi d’avoir un aperçu global des caractéristiques et des failles du site en matière de SEO. Le seul inconvénient réside sans doute dans ses tarifs relativement élevés.
Screaming Frog
Screaming Frog 
est un outil de crawling dont le but est de permettre aux utilisateurs d’analyser en profondeur les caractéristiques SEO d’un site.
Pour faciliter le référencement d’un site web, Screaming Frog a été développé avec une interface intuitive et une panoplie de fonctionnalités. Pour l’utiliser, il suffit de quelques clics et toutes les données relatives au référencement d’un site sont récoltées et analysées de manière rapide et professionnelle.
Parmi les fonctionnalités principales de Screaming Frog se trouvent le crawling, la collecte de données SEO page par page (meta titles, meta descriptions, vérification de la présence des Hn, etc.), la présentation d’un rapport sous forme de tableau, l’exportation des données récoltées sous forme de tableur excel, le générateur de sitemap et l’analyse de données SEO structurées.
Si Screaming Frog est proposée en version gratuite, il faut s’acquitter d’un abonnement de 99$ annuel pour profiter pleinement des fonctionnalités du site. De plus, ce tarif inclut le support technique de l’équipe de Screaming Frog.
Screaming Frog se veut être un crawler complet et particulièrement efficace. Les fonctionnalités du logiciel en font un fleuron de sa catégorie. On regrette juste le fait que certaines fonctionnalités avancées ne soient pas disponibles dans la version gratuite.
Fandangoseo
Fandangseo est un outil permettant d’effectuer rapidement et facilement des audits SEO.
Fandangseo a été créé afin de répondre aux besoins en matière de référencement, d’optimisation de page d’accueil et d’audit technique. Les experts SEO peuvent alors utiliser les outils multiples de cet outil afin de mener une analyse de logs, une action crawling ou un audit SEO en toute aisance.
Pour ce qui est des fonctionnalités, Fandangseo permet de comparer les versions live et staging du site, de corriger les problèmes canoniques de la structure du site, d’optimiser le contenu du site, d’assurer le bien-fondé de la configuration du site, de comprendre l’architecture du site, d’optimiser le budget crawl, d’améliorer l’interconnexion du site, d’effectuer une analyse concurrentielle, d’augmenter le trafix Mobile et Desktop, de tester tous les éléments d’une nouvelle version du site en direct, de surveiller les moteurs de recherche et même de garder un œil sur les pages orphelines.
La tarification de Fandangseo se fait selon les besoins de chaque utilisateur. Le forfait idéal pour les freelances est ainsi proposé à 59$ par mois tandis que les agences peuvent bénéficier des services de l’outil à 177$ par mois. Enfin, les grandes entreprises et les grands sites web peuvent profiter du logiciel à seulement 443$ par mois.
L’avantage de Fandangseo réside dans la pluralité de ses fonctionnalités. Ces dernières se retrouvent d’ailleurs en intégralité dans chaque version tarifaire de l’outil.
