Google ajoute une nouvelle documentation pour Mystery Crawler

Google a mis à jour la liste de ses robots d'exploration officiels en ajoutant le nom et les informations d'un robot d'exploration relativement inconnu que les éditeurs ont vu de temps en temps, mais dont aucune documentation n'existait auparavant.

Bien que Google ait ajouté une documentation officielle pour ce robot d'exploration, les informations fournies semblent encourager davantage de clarifications.

Robots d'exploration de cas spéciaux

Google dispose de plusieurs types de robots d'exploration (également appelés robots et araignées).

Les différentes formes de robots d'exploration sont :

• Robots d'exploration courants
  Ces robots sont principalement utilisés pour indexer différents types de contenu. Mais certains robots d'exploration courants sont également destinés aux outils de test de recherche, à l'utilisation par l'équipe produit interne de Google et à l'exploration liée à l'IA.
• Extracteurs déclenchés par l'utilisateur
  Ce sont des robots déclenchés par les utilisateurs. Cela inclut des utilisations telles que la récupération de flux ou la vérification de sites.
• Robots d'exploration de cas spéciaux
  Il s'agit de cas particuliers, tels que les contrôles de qualité des pages Web des annonces mobiles ou les messages de notification push via les API Google. Ces robots n'obéissent pas aux directives globales de l'agent utilisateur dans robots.txt qui sont signalées par l'astérisque (*).

La nouvelle documentation du robot d'exploration est destinée à l'agent utilisateur Google-Safety. Le robot n'est pas nouveau mais la documentation est nouvelle.

Robot d'exploration de sécurité Google

La documentation du robot d'exploration Google-Safety de Special-case Crawlers est utilisée par les processus de Google pour rechercher des logiciels malveillants.

Unique parmi les robots d'exploration de cas spéciaux, le Google-Safety Crawler ignore complètement toutes les directives robots.txt.

La nouvelle documentation du Google-Safety Crawler :

« L'agent utilisateur Google-Safety gère l'exploration spécifique aux abus, telle que la découverte de logiciels malveillants pour les liens publiés publiquement sur les propriétés Google.

Cet agent utilisateur ignore les règles robots.txt.

Chaîne d'agent complète pour le robot d'exploration :

 "Google-Sécurité"

Lisez la nouvelle documentation de l'agent utilisateur Google-Safety sur la page Google Search Central pour les robots d'exploration dans la section consacrée aux robots d'exploration de cas particuliers.

Présentation des robots d'exploration et des récupérateurs Google (agents utilisateurs) – Robots d'exploration de cas particuliers