Utiliser le statut 410 pour optimiser son temps de crawl ?

googlebotLe code statut 410 est assez peu utilisé sur le web, le code statut 404 lui étant largement préféré afin d’indiquer une ressource introuvable. Utiliser le statut 410 pourrait être une des optimisations à apporter à son site afin d’optimiser le temps de crawl accordé par Google. Ce statut est notamment très utile pour le SEO des pages éphémères, par exemple pour une fiche produit d’un site e-commerce arrivée en rupture de stock définitive. Le code statut 410 est aussi désigné par les termes code 410, erreur 410, statut 410.

Ce que Google dit du statut 410

Je vous déconseille de lire le support pour les webmasters de Google dans sa version française qui comporte des traductions hasardeuses. Préférez l’original :

The server returns this response when the requested resource has been permanently removed. It is similar to a 404 (Not found) code, but is sometimes used in the place of a 404 for resources that used to exist but no longer do. If the resource has permanently moved, you should use a 301 to specify the resource’s new location.

En français cela donne :

Le serveur retourne cette réponse quand la ressource requêté a été supprimée de façon permanente. Il est similaire au statut 404 (introuvable), mais est parfois utilisé à la place du statut 404 pour des ressources qui ont existé et qui n’existeront plus jamais. Si la ressource a été déplacée de façon permanente, vous devriez utiliser un statut 301 pour spécifier la nouvelle adresse de la ressource.

À la différence de l’erreur 404, le code statut d’erreur 410 permet de préciser que l’url n’existera plus jamais. Ce statut est donc à utiliser prudemment car il ne s’agirait pas d’indiquer aux crawlers que cette url n’existera jamais plus si nous n’en sommes pas certain. En revanche, si il est avéré que l’url n’existera plus jamais, on a tout à gagner à respecter les normes définies afin que les statuts reflètent fidèlement le cycle de vie des pages sur le site.

Une influence sur les crawlers des moteurs?

On peut imaginer que le statut 410 permet d’améliorer le nombre d’urls pertinentes crawlées par les bots type Googlebot et Bingbot en leur indiquant que ce n’est plus la peine de revenir sur cette url. En effet, chaque site internet se voit attribué par Google un temps de crawl défini. Plus le site est estimé important par Google, plus cette durée est longue. Si Google perd du temps sur des urls en 404, c’est un peu dommage, autant qu’il traite des urls en statut 200 (OK). C’est là qu’interviendrait le code 410.
Si Google parse un site X effectuant un lien vers votre site, alors Google va crawler votre url. Même si votre url (qui n’existe plus) est en 404, Google tentera tout de même d’accéder à celle-ci plusieurs fois avant d’éventuellement décider de son obsolescence.
Je soumets ici l’hypothèse que si le statut est en 410, alors les bots vont arrêter (ou au moins diminuer fortement) de crawler cette url, ce qui leur permettra de se concentrer sur le contenu vraiment pertinent pour eux et donc pour votre site.
Avez-vous un retour d’expérience permettant de vérifier ou d’infirmer cette hypothèse ?

Cette entrée a été publiée dans Optimisation, avec comme mot(s)-clef(s) , , , . Vous pouvez la mettre en favoris avec ce permalien.

Un commentaire pour Utiliser le statut 410 pour optimiser son temps de crawl ?

  1. Je n’ai pas de retour particulier qui certifie que ce soit bien pris en compte par les bots mais cette technique est en effet déployé sur beaucoup de gros sites. Elle devrait d’ailleurs s’appliquer partout là où l’on est certain de ne plus générer la même url !

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Vous pouvez utiliser ces balises et attributs HTML : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>