Fuite de données Yandex : facteurs de classement et mythes que nous avons découverts

Yandex est le moteur de recherche avec la majorité des parts de marché en Russie et le quatrième moteur de recherche au monde.

Le 27 janvier 2023, il a subi ce qui est sans doute l'un des les plus grandes fuites de données qu'une entreprise de technologie moderne ait subies depuis de nombreuses années - mais c'est la deuxième fuite en moins d'une décennie.

En 2015, un ancien employé de Yandex a tenté de vendre le code du moteur de recherche de Yandex sur le noir marché pour environ 30 000 $.

La fuite initiale en janvier de cette année a révélé 1 922 classements facteurs, dont plus de 64 % ont été répertoriés comme inutilisés ou obsolètes (remplacés et mieux évités).

Cette fuite n'était que le fichier étiqueté noyau, mais au fur et à mesure que la communauté SEO et moi approfondissions, davantage de fichiers étaient trouvé que combinés contiennent environ 17 800 facteurs de classement.

En ce qui concerne la pratique du référencement pour Yandex, le guide que j'ai écrit il y a deux ans, pour la plupart, s'applique toujours.

Yandex, comme Google, a toujours été p ublic avec ses mises à jour et modifications d'algorithmes, et ces dernières années, comment il a adopté l'apprentissage automatique.

Les mises à jour notables des deux ou trois dernières années incluent :

• Vega (qui a doublé la taille de l'index).
• Mimétisme (pénaliser les faux sites Web usurpant l'identité de marques).
• Mise à jour Y1 (présentant YATI).
• Mise à jour Y2 (fin 2022).
• Adoption d'IndexNow.
• Un nouveau déploiement et une mise à jour supposée du filtre PF.

Sur une note personnelle, cette fuite de données est comme un deuxième Noël.

Depuis janvier 2020, j'ai dirigé un site Web d'actualités SEO comme passe-temps dédié à la couverture de Yandex SEO et à la recherche d'actualités en Russie avec plus de 600 articles, c'est donc probablement l'événement phare du site de loisirs.

J'ai également pris la parole deux fois lors de la conférence Optimization - la plus grande conférence SEO en Russie.

En 2019, en travaillant avec l'équipe de relations publiques de Yandex, j'ai pu interroger des ingénieurs de leur équipe de recherche et demander un numéro de questions provenant de la communauté SEO occidentale au sens large.

Vous pouvez lire l'interview avec l'équipe Yandex Search ici.

Alors que Yandex est principalement connu pour sa présence en Russie, le moteur de recherche est également présent en Turquie, au Kazakhstan et en Géorgie.

La fuite de données était censé être politiquement motivé et les actions d'un employé voyou, et contient un certain nombre de fragments de code du référentiel monolithique de Yandex, Arcadia.

Dans les 44 Go de données divulguées, il y a des informations relatives à un certain nombre de Yandex produits, y compris Search, Maps, Mail, Metrik a, Disque et Cloud.

Ce que Yandex a à dire

Au moment où j'écris cet article (31 janvier 2023), Yandex a déclaré publiquement que :

le contenu de l'archive (fuite de la base de code) correspondent à la version obsolète du référentiel – elle diffère de la version actuelle utilisée par nos services

le contenu de l'archive (fuite de la base de code) correspondent à la version obsolète du référentiel – elle diffère de la version actuelle utilisée par nos services

Et :

Il est important de noter que les fragments de code publiés contiennent également des algorithmes de test qui n'ont été utilisés que dans Yandex pour vérifier le bon fonctionnement des services.< /p>

Il est important de noter que les fragments de code publiés contiennent également des algorithmes de test qui n'ont été utilisés que dans Yandex pour vérifier le bon fonctionnement des services.< /p>

Donc, la quantité de cette base de code qui est activement utilisée est discutable.

Yandex a également révélé qu'au cours de son enquête et de son audit, il a trouvé un certain nombre d'erreurs qui violent ses propres principes internes, il est donc probable que des parties de ce code divulgué (qui sont actuellement utilisées) puissent changer dans un proche avenir .

Classification des facteurs

Yandex classe ses facteurs de classement en trois catégories.

Cela a été décrit dans la documentation publique de Yandex depuis un certain temps, mais je pense qu'il vaut la peine de l'inclure ici, car cela nous aide mieux à comprendre la fuite du facteur de classement.

< li>Facteurs statiques – Facteurs directement liés au site Web (par ex. backlinks entrants, liens internes entrants, en-têtes et ratio d'annonces).
• Facteurs dynamiques - Facteurs liés à la fois au site Web et à la requête de recherche (par exemple, pertinence du texte, inclusions de mots clés , TF*IDF).
• Facteurs liés à la recherche de l'utilisateur– Facteurs liés à la requête de l'utilisateur (par exemple, où se trouve l'utilisateur, langue de la requête et modificateurs d'intention).

Les facteurs de classement dans le document sont balisés pour correspondre à la catégorie correspondante, avec TG_STATIC et TG_DYNAMIC, puis TG_QUERY_ONLY, TG_QUERY, TG_USER_SEARCH et TG_USER_SEARCH_ONLY.

Yandex Leak Learnings Jusqu'à présent

À partir des données jusqu'à présent, voici quelques-unes des affirmations et des apprentissages nous avons pu faire.

Il y a tellement de données dans cette fuite qu'il est très probable que nous trouverons de nouvelles choses et établirons de nouvelles connexions dans les prochaines semaines.

• PageRank (une forme de).
• À certains p oint Yandex a utilisé TF*IDF.
• Yandex utilise toujours des méta-mots clés, qui sont également mis en évidence dans son documentation.
• Yandex a des facteurs spécifiques pour les sujets médicaux, juridiques et financiers (YMYL).
• Il utilise également une forme de page score de qualité, mais cela est connu (score ICS).
• Les liens de sites Web de haute autorité ont un impact sur les classements.
• Rien de nouveau ne suggère que Yandex puisse explorer JavaScript en dehors de processus déjà documentés publiquement.
• Les erreurs de serveur et les erreurs 4xx excessives peuvent avoir un impact sur le classement.
• L'heure de la journée est prise en compte comme facteur de classement.

Ci-dessous, j'ai développé d'autres affirmations et enseignements tirés de la fuite.

Dans la mesure du possible, j'ai également lié ces facteurs de classement divulgués aux mises à jour de l'algorithme et aux annonces qui les concernent, ou à l'endroit où nous nous trouvions dit qu'ils avaient un impact.

MatrixNet

MatrixNet est mentionné dans quelques-uns des facteurs de classement et a été annoncé en 2009, puis remplacé en 2017 par Catboost, qui a été déployé sur l'ensemble des produits Yandex.

Cela renforce encore la validité de commentaires directement de Yandex, et l'un des auteurs du facteur DenPlusPlus (Den Raskovalov), qu'il s'agit en fait d'un référentiel de code obsolète.

MatrixNet a été initialement présenté comme un nouvel algorithme de base qui prenait en considération des milliers de facteurs de classement et des pondérations attribuées en fonction de l'emplacement de l'utilisateur, de la requête de recherche réelle et de l'intention de recherche perçue .

Il est généralement considéré comme une première version de RankBrain de Google, alors qu'il s'agit en fait de deux systèmes très différents. MatrixNet a été lancé six ans avant l'annonce de RankBrain.

MatrixNet a également été développé, ce qui n'est pas surprenant, étant donné qu'il a maintenant 14 ans.

En 2016, Yandex a introduit l'algorithme Palekh qui utilisait des réseaux de neurones profonds pour mieux faire correspondre les documents (pages Web) et les requêtes, même s'ils ne contenaient pas les bons "niveaux" de mots-clés communs, mais satisfaisaient les intentions de l'utilisateur.

Palekh était capable de traiter 150 pages à la fois, et en 2017 a été mis à jour avec la mise à jour Korolev, qui a pris en compte plus de profondeur de contenu de page et pourrait fonctionner sur 200 000 pages à la fois.

URL & Facteurs au niveau de la page

Grâce à la fuite, nous avons appris que Yandex prend en considération la construction d'URL, en particulier :

• La présence de chiffres dans l'URL.
• Le nombre de barres obliques finales dans l'URL (et si elles sont excessives).
• Le nombre de lettres majuscules dans l'URL est un facteur.

L'âge d'une page (âge du document) et la date de la dernière mise à jour sont également important, et cela rend s sens.

Outre l'âge du document et la dernière mise à jour, un certain nombre de les facteurs dans les données sont liés à la fraîcheur - en particulier pour les requêtes liées aux actualités.

Yandex utilisait auparavant des horodatages, en particulier non pas à des fins de classement mais à des fins de "réorganisation", mais cela est désormais classé comme inutilisé.

La colonne obsolète contient également l'utilisation de mots-clés dans l'URL. Yandex a précédemment mesuré que trois mots clés de la requête de recherche dans l'URL constitueraient un résultat "optimal".

Liens internes & ; Profondeur d'exploration

Alors que Google a déclaré publiquement que pour ses besoins, la profondeur d'exploration n'est pas explicitement un facteur de classement, Yandex semble avoir un morceau de code actif qui dicte que les URL accessibles à partir de la page d'accueil a un niveau d'importance "plus élevé".

Cela reflète la déclaration de John Mueller en 2018 selon laquelle Google donne "un peu plus de poids ” aux pages trouvées à plus d'un clic de la page d'accueil.

T Les facteurs de classement mettent également en évidence une pondération de jeton spécifique pour les pages Web qui sont « orphelines » dans la structure de liaison du site Web.

Clics & ; CTR

En 2011, Yandex a publié un article de blog expliquant comment le moteur de recherche utilise les clics dans le cadre de son classement et répond également aux désirs des professionnels du référencement de manipuler la métrique pour un gain de classement.

Les facteurs de clic spécifiques dans la fuite regardent des choses comme :

• Le rapport du nombre de clics sur l'URL, par rapport à tous les clics sur la recherche.
• Comme ci-dessus, mais ventilé par région.
• À quelle fréquence les utilisateurs cliquent-ils sur l'URL de la recherche ?

Manipulation des clics

La manipulation du comportement des utilisateurs, en particulier le "click-jacking", est une tactique connue au sein de Yandex.

Yandex dispose d'un filtre, connu sous le nom de filtre PF, qui recherche activement et pénalise les sites Web qui se livrent à cette activité à l'aide de scripts qui surveillent les similitudes IP, puis les "actions de l'utilisateur" de ces clics - et l'impact peut être significatif.

La capture d'écran ci-dessous montre l'impact sur les sessions organiques (сесс ии) après avoir été pénalisé pour avoir imité les clics des utilisateurs.

Image de Russian Search News, janvier 2023

Image de Russian Search News, janvier 2023

Comportement de l'utilisateur

Le comportement de l'utilisateur à retenir de la fuite sont quelques-unes des découvertes les plus intéressantes.

La manipulation du comportement des utilisateurs est une pratique courante Violation SEO que Yandex combat depuis des années. Lors de la conférence d'optimisation 2020, Mikhail Slevinsky, alors responsable des outils pour les webmasters de Yandex, a déclaré que l'entreprise faisait de bons progrès dans la détection et la sanction de ce type de comportement.

Yandex pénalise la manipulation du comportement des utilisateurs avec le même filtre PF utilisé pour combattre Manipulation du CTR.

Temps d'attente

102 des facteurs de classement contiennent la balise TG_USERFEAT_SEARCH_DWELL_TIME et font référence à l'appareil, à la durée de l'utilisateur et au temps d'attente moyen de la page.

Tous ces facteurs sauf 39 sont obsolètes.

Bing a utilisé pour la première fois le terme Dwell time dans un blog de 2011, et ces dernières années Google a fait il est clair qu'il n'utilise pas le temps d'arrêt (ou des signaux d'interaction utilisateur similaires) comme facteurs de classement.

YMYL

YMYL (Your Money, Your Life) est un concept bien connu au sein de Google et n'est pas un nouveau concept pour Yandex.

Dans la fuite de données , il existe des facteurs de classement spécifiques pour le contenu médical, juridique et financier - mais cela a notamment été révélé en 2019 lors de la conférence Yandex Webmaster lorsqu'il a annoncé le Métrique de qualité de recherche Proxima.

Utilisation des données Metrika

Six des facteurs de classement sont liés à l'utilisation des données Metrika pour le fins de classement. Cependant, l'un d'entre eux est marqué comme obsolète :

• Le nombre de visiteurs similaires de la YandexBar (YaBar/Ябар).
• Le temps moyen passé sur les URL de ces mêmes visiteurs similaires.
• Le "core audience" des pages sur lesquelles il y a un Compteur Metrika [obsolète].
• Le temps moyen qu'un utilisateur passe sur un hôte lorsqu'il accède à l'extérieur (à partir d'un autre site sans recherche) à partir d'une URL spécifique.
• La "profondeur" moyenne ( nombre d'accès au sein de l'hébergeur) du séjour d'un utilisateur sur l'hébergeur lorsqu'il y accède de l'extérieur (à partir d'un autre site sans recherche) à partir d'une URL particulière.
• Si Metrika est installé ou non sur le domaine.

Dans Metrika, les données des utilisateurs sont traitées différemment.

Contrairement à Google Analytics, il existe un certain nombre de rapports axés sur la "fidélité" des utilisateurs combinant des mesures d'engagement sur le site avec la fréquence de retour, la durée entre les visites , et source de la visite.

Par exemple, je peux voir un rapport en un clic pour voir une ventilation n de visiteurs individuels du site :

Metrika est également livré "prêt à l'emploi" avec des outils de carte thermique et l'enregistrement des sessions utilisateur, et ces dernières années l'équipe Metrika a bien progressé dans sa capacité à identifier et à filtrer le trafic des bots.

Impact du trafic sur les classements

Suite à l'examen des données de Metrika en tant que classement facteur; Ces facteurs confirment effectivement que le trafic direct et le trafic payant (achat d'annonces via Yandex Direct) peuvent avoir un impact sur les performances de recherche organique :

• Partage des visites directes parmi l'ensemble du trafic entrant.
• Partage du trafic vert (ou visites directes) – Ordinateur.
• Partage du trafic vert (ou visites directes) – Mobile.
• Trafic de recherche – transitions des moteurs de recherche vers le site.
• Part des visites sur le site non par des liens (définis manuellement ou à partir de signets).< /li>
• Le nombre de visiteurs uniques.
• Partage du trafic provenant des moteurs de recherche.

Facteurs d'actualité

Il existe un certain nombre de facteurs relatifs à « Actualités », dont deux qui mentionnent directement Yandex.News.

Yandex.News était un équivalent de Google Actualités, mais a été vendu au réseau social russe VKontakte en août 2022, avec un autre Produit Yandex "Zen".

Donc, il n'est pas clair si ces facteurs sont liés ed à un produit qui n'est plus détenu ou exploité par Yandex, ou à la façon dont les sites Web d'actualités sont classés dans la recherche "régulière".

Importance des backlinks

Yandex a des algorithmes similaires pour lutter contre la manipulation des liens comme Google - et depuis le filtre Nepot en 2005.

En examinant les facteurs de classement des backlinks et certaines des spécificités dans les descriptions, nous pouvons supposer que les meilleures pratiques pour créer des liens pour Yandex SEO seraient de :

• Créez des liens avec une fréquence plus naturelle et des quantités variables.
• Créez des liens avec des textes d'ancrage de marque et utilisez des mots-clés commerciaux.
• Si vous achetez des liens, évitez d'acheter des liens provenant de sites Web qui ont des sujets mixtes.

Vous trouverez ci-dessous une liste de facteurs liés aux liens qui peuvent être considérés comme des affirmations des meilleures pratiques :

• L'âge du backlink est un facteur.
< li>Pertinence des liens basée sur les sujets.
• Les backlinks créés à partir des pages d'accueil ont plus de poids que pages internes.
• Les liens des 100 sites Web les plus performants selon le PageRank (PR) peuvent avoir un impact sur les classements.
• Pertinence des liens basée sur la qualité de chaque lien.
• Lien pertinence, en tenant compte de la qualité de chaque lien, et du sujet de chaque lien.
• Pertinence du lien, en tenant compte de la nature non commerciale de chaque lien.
• Pourcentage d'inbound liens avec des mots de requête.
• Pourcentage de mots de requête dans les liens (jusqu'à un synonyme).
• Les liens contiennent tous les mots de la requête (jusqu'à un synonyme).
• Dispersion du nombre de mots de requête dans les liens.

Cependant, certains facteurs liés aux liens sont des considérations supplémentaires lors de la planification, de la surveillance et de l'analyse des backlinks :

• Le rapport entre les "bons" et les "mauvais" backlinks vers un site Web.
• La fréquence des liens vers le site.
• Le nombre de SEO entrants corbeille les liens entre les hôtes.

La fuite de données a également révélé que le li Le calculateur de spam nk a environ 80 facteurs actifs qui sont pris en considération, avec un certain nombre de facteurs obsolètes.

Cela soulève la question de savoir dans quelle mesure Yandex est capable de reconnaître les attaques SEO négatives, étant donné qu'il examine le rapport entre bons et mauvais liens, et comment il détermine ce qu'est un mauvais lien.

Une attaque SEO négative est également susceptible d'être un événement de lien de courte durée (haute fréquence) dans lequel un site obtiendra involontairement un nombre élevé de liens de mauvaise qualité, non thématiques et potentiellement sur-optimisés.

Généralement, les liens payants sont générés sur une plus longue période de temps, et ces modèles (y compris l'analyse du site d'origine du lien) sont ce que la mise à jour de Minusinsk (2015) a été introduite pour combattre.

Pénalités Yandex

Il sont deux facteurs de classement, tous deux obsolètes, nommés SpamKarma et Pessimisation.

La pessimisation fait référence à la réduction du PageRank à zéro et correspond aux attentes de sanctions Yandex sévères.

SpamKarma s'aligne également sur les hypothèses faites autour de Yandex pénalisant les hôtes et les individus, ainsi que les domaines individuels.

Publicité sur la page

Il existe un certain nombre de facteurs liés à la publicité sur la page, dont certains sont obsolètes (comme l'exemple de capture d'écran ci-dessous).

D'après la description, on ne sait pas exactement quel a été le processus de réflexion avec ce facteur, mais on peut supposer qu'un taux élevé d'annonces à l'écran visible était un facteur négatif - un peu comme la façon dont Google prend ombrage si les publicités obscurcissent le contenu principal de la page ou sont envahissantes.

En liant cela aux mécanismes connus de Yandex, la mise à jour de Proxima a également pris en considération le ratio de contenu utile et publicitaire sur une page.

Pouvons-nous appliquer n'importe quel apprentissage Yandex À Google ?

Yandex et Google sont des moteurs de recherche disparates, avec un certain nombre de différences, malgré les dizaines d'ingénieurs qui ont travaillé pour les deux sociétés.

En raison de cette lutte pour les talents, nous pouvons en déduire que certains de ces maîtres constructeurs et ingénieurs auront construit des choses de la même manière (mais pas des copies directes), et appliqué les apprentissages des itérations précédentes de leurs constructions avec leur nouvel emploi ers.

Ce que disent les professionnels du référencement russes à propos de la fuite

Tout comme le monde occidental, les professionnels du référencement en Russie ont eu leur mot à dire sur la fuite à travers les différents forums Runet.

La réaction dans ces forums a été différente de SEO Twitter et Mastodon, avec un concentrez-vous davantage sur les filtres de Yandex et sur d'autres produits Yandex optimisés dans le cadre de campagnes d'optimisation Yandex plus larges.

Il convient également de noter qu'un certain nombre de conclusions et de résultats à partir des données correspondent à ce qu'est le monde du référencement occidental trouve également.

Thèmes communs dans les forums de recherche russes :

• Les webmasters demandent des informations sur les filtres récents, tels que Mimicry et le filtre PF mis à jour.
• L'ancienneté et la pertinence de certains des facteurs< /strong>, en raison des noms d'auteurs qui ne sont plus chez Yandex et des mentions de produits Yandex retirés depuis longtemps.
• Les principaux apprentissages intéressants concernent l'utilisation des données Metrika, et les informations relatives au Crawler & Indexer.
• Un certain nombre de facteurs décrivent l'utilisation de DSSM, qui a été en théorie remplacé par la sortie de Palekh en 2016. Il s'agissait d'un algorithme de recherche utilisant l'apprentissage automatique, annoncé par Yandex en 2016.
• Un débat autour de le score ICS dans Yandex, et si ou non, Yandex peut fournir plus de trafic vers un site et influencer ses propres facteurs en le faisant.

Les facteurs divulgués, en particulier concernant la façon dont Yandex évalue la qualité du site, ont également fait l'objet d'un examen minutieux.

Il existe un sentiment de longue date dans la communauté SEO russe selon lequel Yandex privilégie souvent ses propres produits et services dans les résultats de recherche par rapport aux autres sites Web, et les webmasters posent des questions telles que :

Pourquoi ça dérange d'aller à tous est un problème, alors qu'il cloue ses services en haut de la page de toute façon ?

Dans les documents vaguement traduits, ceux-ci sont appelés les sorciers ou les sorciers Yandex. Dans Google, nous appellerions ces moteurs de recherche fonctionnalités des pages de résultats (SERP) - comme Google Hotels, etc.

En octobre 2022, Kassir (un portail de billets russe) a réclamé une indemnisation de 328 millions d'euros à Yandex en raison de la perte de revenus, causée par les "conditions discriminatoires" dans lequel Yandex Sorcerers a retiré la clientèle de l'entreprise privée.

C'est à la suite d'un recours collectif de 2020 dans lequel plusieurs entreprises ont porté plainte auprès du Service fédéral antimonopole ( FAS) pour la promotion anticoncurrentielle de ses propres services.

Plus de ressources :

• Yandex Search Ranking Factors Leak : Insights
• 10 plus grandes différences entre Yandex & Google SEO
• Le guide ultime du référencement Yandex

Image en vedette : FGC/Shutterstock