Google avait discuté de l'autorisation de Noindex dans Robots.txt

John Mueller de Google a répondu à une question sur LinkedIn pour discuter de l'utilisation d'une directive noindex non prise en charge sur le robots.txt de son propre site Web personnel. Il a expliqué les avantages et les inconvénients de la prise en charge de la directive par les moteurs de recherche et a donné un aperçu des discussions internes de Google concernant son soutien.

Robots.txt de John Mueller

Le fichier robots.txt de Mueller a été un sujet de conversation la semaine dernière en raison de l'étrangeté générale des directives étranges et non standard qu'il y a utilisées.

Il était presque inévitable que le fichier robots.txt de Mueller soit scruté et devienne viral dans la communauté du marketing de recherche.

Directive sans index

Tout ce qui se trouve dans un robots.txt est appelé une directive. Une directive est une demande adressée à un robot d'exploration Web à laquelle il est obligé d'obéir (s'il obéit aux directives robots.txt).

Il existe des normes sur la façon d'écrire une directive robots.txt et tout ce qui n'est pas conforme à ces normes est susceptible d'être ignoré. Une directive non standard dans le fichier robots.txt de Mueller a attiré l'attention de quelqu'un qui a décidé de poser une question à ce sujet à John Mueller via LinkedIn, pour savoir si Google soutenait la directive non standard.

C'est une bonne question car il est facile de supposer que si un Googleur l'utilise, Google le prend peut-être en charge.

La directive non standard était noindex. Noindex fait partie du standard méta robots mais pas du standard robots.txt. Mueller n’avait pas qu’une seule instance de la directive noindex, il en avait 5 506.

Le spécialiste SEO qui a posé la question, Mehek Giri, a écrit :

« Dans le fichier robots.txt de John Mueller,

il y a une commande inhabituelle :

« noindex : »

Cette commande ne fait pas partie du format robots.txt standard,

Alors pensez-vous que cela aura un impact sur la façon dont les moteurs de recherche indexent ses pages ?

John Mueller curieux d'en savoir plus sur noindex : dans robots.txt »

Pourquoi la directive Noindex dans Robots.txt n'est pas prise en charge par Google

John Mueller de Google a répondu que ce n'était pas pris en charge.

Mueller a répondu :

"C'est une directive sans fondement, elle ne fait rien."

Mueller a ensuite expliqué que Google avait envisagé à un moment donné de prendre en charge la directive noindex à partir du fichier robots.txt, car elle permettrait aux éditeurs d'empêcher Google d'explorer et d'indexer le contenu en même temps.

À l'heure actuelle, il est possible de bloquer l'exploration dans robots.txt ou de bloquer l'indexation avec la directive méta robots noindex. Mais vous ne pouvez pas bloquer l'indexation avec la directive méta-robots et bloquer l'exploration dans le fichier robots.txt en même temps, car un blocage lors de l'exploration empêchera le robot d'exploration de « voir » la directive méta-robots.

Mueller a expliqué pourquoi Google a décidé de ne pas aller de l'avant avec l'idée d'honorer la directive noindex dans le fichier robots.txt.

Il a écrit:

« Il y a eu de nombreuses discussions sur la question de savoir s'il devait être pris en charge dans le cadre de la norme robots.txt. L’idée derrière cela était qu’il serait bien de bloquer à la fois l’exploration et l’indexation. Avec robots.txt, vous pouvez bloquer l'exploration ou bloquer l'indexation (avec une balise méta robots, si vous autorisez l'exploration). L'idée était que vous puissiez également avoir un « noindex » dans le fichier robots.txt et bloquer les deux.

Malheureusement, comme de nombreuses personnes copient et collent des fichiers robots.txt sans les examiner en détail (peu de gens regardent aussi loin que vous !), il serait très, très facile pour quelqu'un de supprimer accidentellement des parties critiques d'un site Web. Et donc, il a été décidé que cela ne devrait pas être un directeur pris en charge, ni faire partie du standard robots.txt… il y a probablement plus de 10 ans à ce stade.

Pourquoi ce Noindex était-il dans le fichier Robots.txt de Mueller

Mueller a clairement indiqué qu'il était peu probable que Google prenne en charge cette balise et que cela a été confirmé il y a une dizaine d'années. La révélation sur ces discussions internes est intéressante, mais elle approfondit également le sentiment d'étrangeté à propos du fichier robots.txt de Mueller.

Voir également : 8 problèmes courants de Robots.txt et comment les résoudre

Image en vedette par Shutterstock/Kues