Analyse de logs

Quelques notions intéressantes à connaître

Le SEO et plus particulièrement les techniques d’analyse de logs et de crawl utilisent un jargon bien identifié et propre à leur métier. Ce jargon est issu de termes anglophones utilisés par les entreprises du numérique et notamment Google dans la création de son moteur de recherche du même nom.

La première notion clé à comprendre est le crawl. Le crawl est le passage d’un robot d’un moteur de recherche sur une page d’un site Internet. On dit qu’il parcourt ce site pour ensuite le référencer. Plus Google ou un autre moteur de recherche parcourt les pages de votre site Internet, le « crawl », plus ce site Internet aura des chances d’être plus visible et mieux référencé.

Le passage du robot explorateur laisse des traces contenues dans les fichiers logs d’un site Internet. Ainsi, analyser les « logs » revient à analyser l’historique de fréquentation d’un site et plus particulièrement le passage des robots d’exploration des moteurs de recherche. C’est effectivement leur présence qui nous intéresse pour améliorer le référencement d’une page web.

L’exploration des pages d’un site Internet par un robot « crawleur » est limitée. Cette exploration demande une puissance de calcul et un débit Internet. En parallèle, les robots des moteurs de recherche doivent analyser les millions de pages publiées sur Internet. Ainsi, les robots d’exploration limitent leur temps passé sur une seule page et un seul site Internet. C’est le budget de crawl qui correspond plus précisément au nombre de pages maximum qu’un robot de crawl explore sur un site Internet.

L’objectif d’une stratégie de crawl est d’optimiser ce budget. Plus il sera élevé, plus les moteurs de recherche à commencer par Google mettront en valeur le contenu publié et apporteront donc plus de visibilité au site. De nombreux critères déterminent le budget de crawl comme la qualité du contenu présent sur les pages du site, la fréquence des mises-à-jour, la vitesse de chargement de la page et tant d’autres critères. Un travail sera donc d’optimiser les pages du site Internet à promouvoir en fonction de ces premiers critères.

Le nombre de pages d’un site Internet est évidemment un critère déterminant dans l’optimisation du budget de crawl de ce site. Plus un site compte de pages, plus le budget de crawl devra être important en admettant que toutes les pages soient toutes autant référencées. Il est cependant très difficile d’optimiser les critères que nous venons de décrire à partir d’un certain point. Par exemple, la vitesse de chargement d’un site Internet ou d’une de ses pages ne peut plus être améliorée à partir d’un certain stade où le temps de chargement devient négligeable pour le robot d’exploration. De cette manière, la seule stratégie permettant d’optimiser le budget de crawl pour les sites recensant un grand nombre de pages est de segmenter ces pages.

Segmentation des pages d’un site Internet

Comme nous venons de le préciser, les robots de crawling des moteurs de recherche comme Googlebot pour Google, essayent de rationaliser le temps passé sur un site Internet. Ils privilégient les sites de bonne qualité, il faut donc donner bonne impression dès le premier passage d’un robot.

Or, certains sites ont forcément besoin de beaucoup de pages pour fonctionner. Imaginez par exemple Amazon.com. Ce site a sans doute des centaines de milliers voire des millions de pages. Effectivement, chaque produit possède sa propre page et le catalogue d’Amazon est immense. Comment cela se fait-il qu’Amazon soit si bien référencé naturellement ? La première réponse à cette question est tout d’abord le trafic. Amazon a beaucoup de trafic par sa notoriété public. Cependant, cette réponse n’est pas suffisante, la meilleure stratégie de référencement pour les sites ayant beaucoup de pages est d’orienter le crawling de Google.

L’orientation du robot d’exploration demande tout d’abord de déterminer quelles sont les pages les plus importantes du site, c’est-à-dire quelles sont les pages à privilégier. En seront ainsi déduites les pages à négliger et donc à ne pas ou à ne plus crawler. Les pages majeures sont par exemple des chapeaux depuis lesquels l’utilisateur sera dirigé vers d’autres produits. Au contraire, les pages avec uniquement un formulaire de contact ou les mentions légales sont à bannir du crawling. Effectivement celle-ci n’ont pas besoin de référencement naturel. Si elles bénéficient du crawl, ce sera au détriment des autres pages qui elles ont besoin du crawl pour améliorer leur référencement.

Vous devez donc être capable de segmenter votre site Internet par priorité. Les pages à référencer sont les plus importantes et doivent tout faire pour accueillir la visite des robots de crawl le plus souvent possible. Vous pouvez constater l’efficacité de votre segmentation à partir d’une analyse de logs.

Pour prioriser les pages importantes, plusieurs options s’offrent à vous. Il est soit possible de mieux construire dès le départ vos pages à référencer. Cependant, si votre site est déjà publié depuis quelques temps et reçoit des visites, cette méthode sera peu efficace. Une seconde option est d’intégrer des fichiers robot.txt dans vos pages. Ces fichiers donnent des indications aux robots de crawl quand ces-derniers visitent votre site. Ainsi, si le robot.txt d’une page demande au crawleur de ne pas visiter cette page, celui-ci, voulant s’épargner du travail ne visitera pas cette page.

L’analyse de logs en soit

Après tout ce travail introductif, nous arrivons donc à l’analyse de logs en elle-même. Comme nous l’avions précisé dans l’introduction, l’analyse de logs est l’analyse de l’historique de passage des crawleurs.

Cette analyse est intéressante tout d’abord pendant le premier audit d’un site Internet. Elle permet alors de se rendre compte de la pertinence du crawl et des actions à mettre en place pour remédier aux potentielles erreurs de crawl.

Ensuite, l’analyse de logs vous permettra de suivre l’efficacité de vos actions de redressement à la suite de votre premier audit.

Mettons par exemple qu’après un premier audit vous décidez d’améliorer la construction des cinq plus importantes pages de votre site pour améliorer leur crawl. La seule manière de vérifier l’efficacité de vos actions d’amélioration est de consulter les logs du site et plus particulièrement des pages en question. Une action efficace apporte des crawls aux pages améliorées.

Les outils d’analyse des logs sur Internet

L’analyse des logs est de l’analyse de données massives, il faut donc être à l’aise avec les chiffres pour la mettre en place. Le premier outil pour tirer des enseignements sur les logs extraits des sites Internet est Excel, l’outil de base du traitement de données de Microsoft. Il vous permettra de réaliser la très grande majorité de toutes les opérations, à commencer par l’analyse croisée, que vous souhaitez faire pour analyser vos données issues des logs.

Différents outils sont aujourd’hui disponibles pour analyser efficacement les logs sans avoir à mettre soit même les mains dans le code et l’hébergement du site Internet. Les outils que nous vous recommandons sont Seolyzer, Oncrawl, Botify et Screaming Frog.

Ces outils sont extrêmement puissants mais aussi complexes. Ils demandent donc un certain temps pour être pris en main. Il est donc préférable de faire appel à un consultant SEO spécialisé pour ne pas perdre ce temps.