02 juillet 2024
Dans un récent article sur LinkedIn, Gary Illyes, analyste chez Google, met en évidence les aspects moins connus du fichier robots.txt alors qu'il fête son 30e anniversaire.
Le fichier robots.txt, un composant d'exploration et d'indexation Web, est un pilier des pratiques de référencement depuis sa création.
Voici une des raisons pour lesquelles il reste utile.
Illyes a souligné la résistance du dossier aux erreurs.
"robots.txt est pratiquement sans erreur", a déclaré Illyes.
Dans son article, il a expliqué que les analyseurs robots.txt sont conçus pour ignorer la plupart des erreurs sans compromettre la fonctionnalité.
Cela signifie que le fichier continuera à fonctionner même si vous incluez accidentellement du contenu sans rapport ou des directives mal orthographiées.
Il a expliqué que les analyseurs reconnaissent et traitent généralement les directives clés telles que l'agent utilisateur, l'autorisation et l'interdiction, tout en ignorant le contenu non reconnu.
Illyes a souligné la présence de lignes de commentaires dans les fichiers robots.txt, une fonctionnalité qu'il trouve déroutante compte tenu de la nature tolérante aux erreurs du fichier.
Il a invité la communauté SEO à spéculer sur les raisons de cette inclusion.
La réponse de la communauté SEO au message d'Illyes fournit un contexte supplémentaire sur les implications pratiques de la tolérance aux erreurs de robots.txt et de l'utilisation de commentaires en ligne.
Andrew C., fondateur d'Optimisey, a souligné l'utilité des commentaires en ligne pour la communication interne, déclarant :
"Lorsque vous travaillez sur des sites Web, vous pouvez voir une ligne de commentaire comme une note du développeur sur ce qu'il veut que cette ligne 'interdire' dans le fichier fasse."
Capture d'écran de LinkedIn, juillet 2024.Nima Jafari, consultante SEO, a souligné la valeur des commentaires dans les mises en œuvre à grande échelle.
Il a noté que pour les fichiers robots.txt volumineux, les commentaires peuvent « aider les développeurs et l'équipe SEO en fournissant des indices sur d'autres lignes ».
Capture d'écran de LinkedIn, juillet 2024.En fournissant un contexte historique, Lyndon NA, un spécialiste du marketing numérique, a comparé le fichier robots.txt aux spécifications HTML et aux navigateurs.
Il a suggéré que la tolérance aux erreurs du fichier était probablement un choix de conception intentionnel, déclarant :
"Les analyseurs Robots.txt ont été rendus laxistes afin que le contenu puisse toujours être accessible (imaginez si G devait abandonner un site, parce que quelqu'un a falsifié 1 bit de robots.txt ?)."
Capture d'écran de LinkedIn, juillet 2024.Comprendre les nuances du fichier robots.txt peut vous aider à mieux optimiser les sites.
Bien que la nature tolérante aux erreurs du fichier soit généralement bénéfique, elle pourrait potentiellement conduire à des problèmes négligés s'il n'est pas géré avec soin.
Lisez aussi : 8 problèmes courants de Robots.txt et comment les résoudre
Image en vedette : Sutadisme/Shutterstock
Découvrez les secrets de la gestion d'un programme d'affiliation réussi. De l'intégration des affiliés à la création d'une stratégie de communication, la deuxième partie de cette série vous couvre.
Boostez la gestion globale de votre site Web avec des outils d'IA. Découvrez les avantages de l’exploitation de la technologie IA pour le contenu, le référencement, la recherche et bien plus encore.
Regardez ce webinaire à la demande et voyez iQuanti partager des informations exploitables pour mesurer le succès au sein des canaux croisés de la recherche organique et payante.