Données de la console de recherche Google et BigQuery pour des analyses améliorées

Google Search Console est un excellent outil pour les professionnels du référencement.

Mais comme beaucoup d'entre nous le savent, l'utilisation exclusive de l'interface comporte certaines limites.

Dans le passé , il fallait souvent avoir des connaissances spécifiques ou l'aide d'un développeur pour surmonter certains d'entre eux en extrayant directement les données de l'API.

Google a commencé à proposer une Google Search Console (GSC) native à ce qu'était Google. Connecteur Data Studio (maintenant Looker Studio) vers 2018.

Cette intégration permet aux utilisateurs pour extraire directement les données de GSC vers Looker Studio (Google Data Studio) afin de créer des rapports et des tableaux de bord personnalisables sans avoir besoin de connecteurs tiers ou de configurations d'API supplémentaires.

Mais ensuite, en février 2023, les choses sont devenues intéressantes.< /p>

Google vous permet désormais de mettre en place une exportation groupée automatisée et intégrée de données vers BigQuery, la solution de stockage d'entrepôt de données de Google.

Soyons francs pendant une minute : la plupart d'entre nous Nous nous appuyons sur l'interface GSC pour effectuer bon nombre de nos activités.

Cet article explique pourquoi l'exportation massive de données vers BigQuery est un problème.

Attention : il ne s'agit pas d'un problème. une solution miracle qui résoudra toutes les limitations auxquelles nous sommes confrontés en tant que professionnels du référencement. Mais c'est un excellent outil si vous savez comment le configurer et l'utiliser correctement.

Libérez-vous des contraintes de données grâce aux exportations groupées BigQuery

Au départ, l'exportation groupée de données était destinée aux sites Web qui recevaient du trafic vers des dizaines de milliers de pages et/ou des dizaines de milliers de requêtes. p>

Volumes de données

Actuellement, vous disposez de trois options d'exportation de données au-delà de l'exportation groupée de données BigQuery :

• La plupart des rapports dans GSC vous permettent d'exporter jusqu'à jusqu'à 1 000 lignes.
• Vous pouvez obtenir jusqu'à 50 000 lignes via une intégration de Looker Studio.
• Avec l'API, vous obtenez jusqu'à 50 000 lignes, ce qui vous permet d'extraire quelques éléments supplémentaires au-delà des données de performances : inspection d'URL, plans de site et données des sites.

Daniel Waisberg, Search Advocate chez Google, l'explique ainsi :

"Le moyen le plus puissant d'exporter des données de performances est l'exportation de données en masse, où vous pouvez obtenez la plus grande quantité de données. »

"Le moyen le plus puissant d'exporter des données de performances est l'exportation de données en masse, où vous pouvez obtenez la plus grande quantité de données. »

Il n'y a aucune limite de lignes lorsque vous utilisez l'exportation groupée BigQuery.

L'exportation groupée de données BigQuery vous permet d'extraire toutes les lignes de données disponibles dans votre compte GSC.

Cela rend BigQuery beaucoup plus adapté aux grands sites Web ou aux analyses SEO nécessitant un ensemble de données complet.

Conservation des données

Google BigQuery permet une conservation illimitée des données, permettant ainsi aux professionnels du référencement d'effectuer des analyses de tendances historiques qui ne sont pas limitées par la limite de stockage de données de 16 mois dans la recherche Google. Console.

Looker Studio et l'API n'offrent pas intrinsèquement cette fonctionnalité. Cela signifie que vous gagnez une réelle capacité à voir les évolutions sur plusieurs années, et à mieux comprendre et analyser les progressions.

En tant que solution de stockage, BigQuery vous permet de stocker vos données aussi longtemps que vous le souhaitez et de surmonter cette limitation. .

La possibilité de conserver et d'accéder à des données historiques illimitées change la donne pour les professionnels du référencement pour plusieurs raisons :

• Analyse complète à long terme : La conservation illimitée des données signifie que les analystes SEO peuvent effectuer des analyses de tendances sur des périodes prolongées. C'est une excellente nouvelle pour ceux d'entre nous qui souhaitent une évaluation plus précise des performances de nos stratégies de référencement à long terme.
• Tendances saisonnières et événementielles : si votre site Web connaît des fluctuations saisonnières ou des événements qui provoquent des pics périodiques de trafic, la possibilité de consulter des données historiques plus longues fournira des informations inestimables.
• Rapports personnalisés : toutes vos données sont stockées dans BigQuery facilite la génération de rapports personnalisés adaptés à des besoins spécifiques. Vous pouvez créer un rapport pour répondre à pratiquement toutes les questions.
• Dépannage amélioré : la possibilité de suivre les performances au fil du temps facilite l'identification des problèmes, la compréhension de leurs causes profondes et la mise en œuvre efficace. correctifs.
• Adaptabilité : la conservation illimitée des données vous donne la flexibilité d'adapter vos stratégies de référencement tout en conservant une perspective historique complète du contexte.

Mises en garde concernant les données

Comme la plupart des outils de suivi des données, vous ne serez pas surpris d'apprendre qu'il n'y a pas de rétroactivité.

Gardez à l'esprit que l'exportation groupée de données GSC ne commence à envoyer des données quotidiennement à BigQuery qu'une fois que vous l'avez configuré. Cela signifie que vous ne pourrez pas stocker ni accéder aux données avant cela.

Il s'agit d'un système « à partir de maintenant », ce qui signifie que vous devez planifier à l'avance si vous souhaitez utiliser les données historiques. plus tard. Et même si vous planifiez à l'avance, les exportations de données commenceront jusqu'à 48 heures plus tard.

Bien que l'exportation groupée de données inclue des mesures importantes telles que les données de performances du site et de l'URL, Tous les types de données ne sont pas exportés.

Par exemple, les rapports de couverture et autres rapports spécialisés disponibles dans GSC ne font pas partie de ce qui est envoyé à BigQuery.

Deux des tables primaires sont générées : searchdata_site_impression et searchdata_url_impression. Le premier regroupe les données par propriété. Ainsi, si deux pages s'affichent pour la même requête, cela compte pour une impression.

Le second tableau fournit des données agrégées par URL, offrant une vue plus granulaire. En clair, lorsque vous utilisez l'exportation groupée de données de Google Search Console vers BigQuery, deux tableaux principaux sont créés :

• searchdata_site_impression : ce tableau vous donne un aperçu de la manière dont votre l'ensemble du site Web apparaît dans la recherche Google. Par exemple, si quelqu'un recherche « meilleur costume de chien saucisse » et que deux pages de votre site Web apparaissent dans les résultats, ce tableau le comptera comme une « impression » (ou une vue) pour l'ensemble de votre site plutôt que deux vues distinctes pour chacune. page.
• searchdata_url_impression : ce tableau est plus détaillé et se concentre sur des pages Web individuelles. En utilisant le même exemple du "meilleur costume de chien-saucisse", si deux pages de votre site apparaissent dans les résultats de recherche, ce tableau les comptera comme deux impressions distinctes, une pour chaque page qui apparaît.

Un autre élément important est que vous avez affaire à des tables de données partitionnées. Les données dans BigQuery sont organisées en tables de partition basées sur des dates.

Les données de chaque jour sont mises à jour, et il est essentiel d'en tenir compte lors de la formulation de vos requêtes, surtout si vous souhaitez maintenir l'efficacité de vos opérations.

Si cela vous semble encore un peu obscur, n'oubliez pas que les données arrivent quotidiennement et qu'elles ont un impact sur la façon dont vous procédez lors de l'analyse des données.

Pourquoi Configurer cela ?

La configuration des exportations groupées BigQuery présente des avantages :

Joindre les données GSC à d'autres sources de données

Exporter la console de recherche Google dans un L'entrepôt de données signifie que vous pouvez profiter des avantages de le joindre à d'autres sources de données (soit directement dans BigQuery, soit dans votre propre entrepôt de données).

Vous pouvez, par exemple, mélanger les données de GSC et de Google Analytics 4 et obtenir des informations plus pertinentes sur les conversions et les comportements générés par le trafic organique de Google.

Exécuter des calculs/opérations complexes à l'aide de SQL

Une solution telle que BigQuery vous permet d'interroger vos données afin d'exécuter des calculs et des opérations complexes pour approfondir votre analyse.

En utilisant SQL, vous pouvez segmenter, filtrer et exécuter vos propres formules.

Requêtes anonymisées

BigQuery traite les requêtes anonymisées différemment des autres fournisseurs ETL qui accèdent aux données via l'API.

Il regroupe toutes les métriques des requêtes anonymisées par site/URL et par jour.

Il n'omet pas seulement les lignes, ce qui aide les analystes à obtenir des sommes complètes d'impressions et de clics lorsque vous agrégez les données.

Quel est le problème ?

Malheureusement, non l'outil ou la solution est parfait. Cette nouvelle intégration intégrée présente quelques inconvénients. Voici les principaux :

Cela signifie développer une expertise au-delà du référencement

Vous devez vous familiariser avec Google Cloud Platform, BigQuery et SQL en plus de vos connaissances GSC.

Lancer une exportation groupée de données implique d'effectuer des tâches dans GSC mais aussi dans Google Cloud.

Une plateforme basée sur SQL nécessitant une expertise spécifique

Avec BigQuery, vous avez besoin de SQL pour accéder et tirer le meilleur parti de vos données.

Vous devez donc faire des requêtes SQL ou demandez à quelqu'un en interne de le faire à votre place.

La plateforme a également son propre mode de fonctionnement.

L'utiliser efficacement nécessite de savoir s'en servir, ce qui demande du temps et de l'expérience. .

Bien que Looker Studio permette la manipulation de données de type SQL, il peut ne pas offrir toute la puissance et la flexibilité de SQL pour des analyses complexes.

Les données de l'API devraient être traitées davantage pour pouvoir obtiennent des résultats similaires.

Les impressions d'URL contiennent davantage de requêtes anonymisées

"Une chose à prendre en compte est la différence de volume de requêtes anonymisées entre la table searchdata_url_impression et la table searchdata_site_impression.

Comme l'interface GSC , certaines requêtes portant sur des URL particulières dans des pays particuliers peuvent être si peu fréquentes qu'elles pourraient potentiellement identifier l'internaute.

Par conséquent, vous verrez une plus grande proportion de requêtes anonymisées dans votre searchdata_url_impression que dans votre table searchdata_site_impression." Source : Trevor Fox.

Coûts potentiels

Même si cette fonctionnalité est initialement gratuite, ce ne sera peut-être pas le cas pour toujours.

BigQuery est facturé en fonction de la quantité de données stockées dans un projet et les requêtes que vous exécutez.

La solution comporte des seuils à partir desquels vous commencez à payer potentiellement chacun mois.

Au fil du temps, cela peut alors devenir coûteux – mais tout dépend de la quantité de données exportées (les sites Web comportant de nombreuses pages et requêtes seront probablement plus lourds à cet égard) et des requêtes vous courez pour y accéder et le manipuler.

Comment obtenir vos données GSC BigQuery

1. Créer un projet Google Cloud avec BigQuery et la facturation activées

La première étape consiste à créer un projet dans Google Cloud avec BigQuery et facturation activés.

Accédez à la console. En haut à gauche, cliquez sur le projet dans lequel vous vous trouvez actuellement (ou Sélectionnez un projet si vous n'en avez pas), cela ouvrira une fenêtre contextuelle.

Cliquez sur NOUVEAU PROJET et suivez les étapes. Soyez prudent lorsque vous choisissez la région car vous devrez choisir la même lors de la mise en place de l'export groupé dans le GSC.

Cette partie n'est pas évoquée très souvent. Si vous souhaitez interroger deux ensembles de données tels que les données GSC et GA4, ils doivent se trouver dans la même région.

« Pour certaines régions comme l'Europe et l'Amérique du Nord, vous pouvez effectuer une requête sur l'ensemble de la région continentale, mais dans des endroits comme l'Australie, vous ne pouvez pas effectuer une requête sur Melbourne et Sydney.

Les deux ensembles de données doivent se trouver exactement au même emplacement »

« Pour certaines régions comme l'Europe et l'Amérique du Nord, vous pouvez effectuer une requête sur l'ensemble de la région continentale, mais dans des endroits comme l'Australie, vous ne pouvez pas effectuer une requête sur Melbourne et Sydney.

Les deux ensembles de données doivent se trouver exactement au même emplacement »

Sarah Crooke, consultante BigQuery chez Melorium, Australie, a déclaré :

Une fois le projet terminé est créé, rendez-vous dans la section Facturation. Utilisez la barre de recherche en haut pour le trouver. Google Cloud ne dispose pas de l'interface la plus conviviale sans la barre de recherche.

Vous devez créer un compte de facturation. Un conseil avant de continuer : prenez le temps de vérifier si vous n'avez pas déjà créé un compte de facturation par quelqu'un d'autre dans l'entreprise.

Une fois cela fait, vous pouvez attribuer le compte de facturation à votre projet. Vous avez besoin d'un compte de facturation pour configurer l'exportation groupée.

Une fois le projet terminé est créé, rendez-vous dans la section Facturation. Utilisez la barre de recherche en haut pour le trouver. Google Cloud ne dispose pas de l'interface la plus conviviale sans la barre de recherche.

Vous devez créer un compte de facturation. Un conseil avant de continuer : prenez le temps de vérifier si vous n'avez pas déjà créé un compte de facturation par quelqu'un d'autre dans l'entreprise.

Une fois cela fait, vous pouvez attribuer le compte de facturation à votre projet. Vous avez besoin d'un compte de facturation pour configurer l'exportation groupée.

Veuillez suivre les les instructions fournies par Pour ce faire, consultez la documentation Google Cloud.

Ensuite, vous devez accéder aux API et amp; Section Services (encore une fois, vous pouvez utiliser la barre de recherche pour la trouver).

Recherchez l'API Bigquery. Activez-le pour le projet que vous avez créé.

Une étape supplémentaire : vous devez ajouter un utilisateur. Cela permettra à Google Search Console de vider les données dans BigQuery. Voici la documentation officielle pour ce faire.

Décomposons cela rapidement :

• Naviguez dans la barre latérale vers IAM et Admin. La page devrait indiquer Autorisations pour le projet .
• Cliquez sur + GRANT ACCESS.
• Cela ouvrira un panneau avec Ajouter des principes. .
• Dans Nouveaux responsables, indiquez [email protected]
• Sélectionnez deux rôles : Utilisateur de la tâche BigQuery et Éditeur de données BigQuery. Vous pouvez utiliser la barre de recherche pour les retrouver.
• Enregistrer.

Enfin, sélectionnez votre projet et copiez l'ID du projet Cloud qui lui est associé.

Vous avez terminé dans Google Cloud !

2. Configurez l'exportation groupée de données dans la propriété GSC de votre choix

Une fois la partie Google Cloud terminée, vous devrez activer l'exportation groupée de données vers votre nouveau projet Google Cloud directement dans la Google Search Console.< /p>

Pour ce faire, accédez à la section Paramètres de la propriété à partir de laquelle vous souhaitez exporter les données et cliquez sur Exportation de données en masse.

Collez l'ID du projet Cloud. du projet que vous avez créé auparavant. Vous pouvez également personnaliser le nom de l'ensemble de données que le GSC créera dans votre projet (il s'agit de « searchconsole » par défaut).

Enfin, choisissez le même emplacement de jeu de données que celui utilisé pour votre projet Google Cloud.

Une fois que vous êtes prêt, cliquez sur Continuer. Le GSC vous indiquera si cette configuration initiale est fonctionnelle ou non. L'ensemble de données sera également créé dans votre projet.

Les exports de données démarreront jusqu'à 48 heures plus tard.

Ils sont quotidiens et incluent les données du jour de la configuration. Bien que l'API puisse être configurée pour effectuer des extractions planifiées, elle nécessite souvent une programmation supplémentaire.

C'est pourquoi l'exportation de données en masse fonctionne pour de nombreux grands sites Web.

Gardez à l'esprit que le GSC peut rencontrer des problèmes d'exportation de données après cette configuration initiale, auquel cas il est censé réessayer une exportation le lendemain.

Nous vous recommandons d'interroger vos données dans les premiers jours pour vérifier si elles sont correctement stockées.

Alors, et ensuite ?

Vous pouvez obtenir j'ai commencé à interroger les données maintenant ! Voici quelques éléments que vous pouvez analyser et qui ne peuvent pas être analysés facilement d'une autre manière :

• Interroger plusieurs pages à la fois : dans BigQuery, vous pouvez exécuter une seule requête SQL pour obtenez des statistiques pour toutes les pages (ou un sous-ensemble de pages) sans avoir à cliquer sur chacune d'elles individuellement.
• Rapport sur la saisonnalité du trafic : comparez les statistiques de performances par saison pour identifier les tendances et optimiser les campagnes. en conséquence.
• Analyse groupée sur plusieurs sites : si vous gérez une marque avec plusieurs sites Web, cela vous permet d'examiner les clics sur tous ces sites à la fois.
• Analyse groupée sur plusieurs sites : si vous gérez une marque avec plusieurs sites Web, cela vous permet d'examiner les clics sur tous ces sites à la fois.
• Analyse groupée sur plusieurs sites : si vous gérez une marque avec plusieurs sites Web, cela vous permet d'examiner les clics sur tous ces sites à la fois.
• Analyse groupée sur plusieurs sites : si vous gérez une marque avec plusieurs sites Web, cela vous permet d'examiner les clics sur tous ces sites à la fois.
• Analyse groupée sur plusieurs sites : si vous gérez une marque avec plusieurs sites Web, cela vous permet d'examiner les clics sur tous ces sites à la fois.
• Analyse groupée sur plusieurs sites : si vous gérez une marque avec plusieurs sites Web, cela vous permet d'examiner les clics sur tous ces sites à la fois. li>
• Taux de clics (CTR) par page et requête : au lieu de simplement examiner le CTR moyen, vous pouvez calculer le CTR pour chaque page individuelle et requête de recherche.

En résumé

En résumé, la fonctionnalité intégrée d'exportation de données groupées de Google Search Console vers BigQuery de Google offre une solution plus robuste pour l'analyse de données en SEO.

Cependant, il existe des limites, telles que la nécessité de développer une expertise dans Google Cloud et SQL, et coûts potentiels associés au stockage et aux requêtes BigQuery.

Plus de ressources :

• Comment fusionner des données dans Looker Studio avec des exemples pratiques
• 7 conseils essentiels pour devenir un pro de GA4 (même si vous êtes débutant)
• 7 erreurs de configuration courantes de Google Analytics 4 à éviter

Image en vedette : Suvit Topaiboon/Shutterstock