Tout ce que vous devez savoir sur l'en-tête HTTP X-Robots-Tag

28 décembre 2022

L'optimisation des moteurs de recherche, dans son sens le plus élémentaire, repose sur une chose par-dessus tout : les robots des moteurs de recherche qui explorent et indexent votre site.

Mais presque tous les sites Web auront des pages qui vous ne voulez pas inclure dans cette exploration.

Par exemple, faites vous voulez vraiment que votre politique de confidentialité ou vos pages de recherche internes apparaissent dans les résultats Google ?

Dans le meilleur des cas, elles ne font rien pour générer activement du trafic vers votre site, et dans le pire des cas, elles pourrait détourner le trafic de pages plus importantes.

Heureusement, Google permet aux webmasters d'indiquer aux robots des moteurs de recherche les pages et le contenu à explorer et ceux à ignorer. Il existe plusieurs façons de procéder, la plus courante étant d'utiliser un fichier robots.txt ou la balise meta robots.

Nous avons une excellente explication détaillée des tenants et aboutissants de robots.txt, que vous devriez absolument lire.

Mais en termes généraux, c'est un texte brut qui se trouve à la racine de votre site Web et respecte le Robots Exclusion Protocol (REP)< /a>.

Robots Exclusion Protocol (REP)< /a>.

Robots.txt fournit aux robots des instructions sur le site dans son ensemble, tandis que les balises meta robots incluent des instructions pour des pages spécifiques.

Certaines balises meta robots que vous pouvez utiliser incluent index, qui indique aux moteurs de recherche d'ajouter la page à leur index ; noindex, qui lui indique de ne pas ajouter de page à l'index ni de l'inclure dans les résultats de recherche ; suivre, qui demande à un moteur de recherche de suivre les liens sur une page ; nofollow, qui lui dit de ne pas suivre les liens, et une foule d'autres.

Les balises robots.txt et meta robots sont des outils utiles pour gardez dans votre boîte à outils, mais il existe également un autre moyen d'indiquer aux robots des moteurs de recherche de ne pas indexer ou de ne pas suivre : le X-Robots-Tag.

Qu'est-ce que le X-Robots-Tag ?

Le X-Robots-Tag est un autre moyen pour vous de contrôler la façon dont vos pages Web sont explorées et indexées par les araignées. Dans le cadre de la réponse d'en-tête HTTP à une URL, il contrôle l'indexation d'une page entière, ainsi que les éléments spécifiques de cette page.

< /div>

Et alors que l'utilisation des balises meta robots est assez simple, le X-Robots-Tag est un peu plus compliqué.

Mais cela, bien sûr, soulève la question :

Quand devez-vous utiliser le X-Robots-Tag ?

Et alors que l'utilisation des balises meta robots est assez simple, le X-Robots-Tag est un peu plus compliqué.

Mais cela, bien sûr, soulève la question :

Quand devez-vous utiliser le X-Robots-Tag ?

Selon Google, "Toute directive pouvant être utilisée dans une balise méta de robots peut également être spécifiée en tant que X-Robots-Tag."

Selon Google

Bien que vous puissiez définir des robots .txt dans les en-têtes d'une réponse HTTP avec à la fois la balise meta robots et la balise X-Robots, il existe certaines situations où vous voudriez utiliser la balise X-Robots - les deux plus courantes étant lorsque :

Vous souhaitez contrôler la façon dont vos fichiers non-HTML sont explorés et indexé.
Vous souhaitez diffuser des directives à l'échelle du site plutôt qu'au niveau de la page.

Vous souhaitez contrôler la façon dont vos fichiers non-HTML sont explorés et indexé.

Vous souhaitez diffuser des directives à l'échelle du site plutôt qu'au niveau de la page.

Par exemple, si vous souhaitez empêcher l'exploration d'une image ou d'une vidéo spécifique, la méthode de réponse HTTP facilite cette tâche.

L'en-tête X-Robots-Tag est également utile car il vous permet de combiner plusieurs balises dans une réponse HTTP ou d'utiliser une liste de directives séparées par des virgules pour spécifier des directives.

Peut-être que vous ne voulez pas qu'une certaine page soit mise en cache et qu'elle soit indisponible après une certaine date. Vous pouvez utiliser une combinaison de balises "noarchive" et "unavailable_after" pour demander aux robots des moteurs de recherche de suivre ces instructions.

Essentiellement, la puissance du X-Robots-Tag est qu'il est beaucoup plus flexible que la balise meta robots.

L'avantage d'utiliser un X-Robots-Tag avec des réponses HTTP est qu'il vous permet d'utiliser des expressions régulières pour exécuter des directives de crawl sur du non-HTML, ainsi que d'appliquer des paramètres à un niveau global plus large.

X-Robots-Tag

Pour vous aider comprendre la différence entre ces directives, il est utile de les classer par type. Autrement dit, s'agit-il de directives de robot ou de directives d'indexeur ?

Voici une feuille de triche pratique pour expliquer :

Directives de robot

Directives d'indexation

Balise Meta Robots - vous permet de spécifier et d'empêcher les moteurs de recherche de afficher des pages particulières sur un site dans les résultats de recherche.