17 avril 2024
Brave a annoncé son nouveau moteur de recherche d'IA axé sur la confidentialité, appelé Answer with AI, qui fonctionne avec son propre index de recherche de milliards de sites Web. Leur moteur de recherche actuel traite déjà 10 milliards de requêtes de recherche par an, ce qui signifie que le moteur de recherche alimenté par l'IA de Brave est désormais l'un des plus grands moteurs de recherche en ligne par l'IA.
De nombreux membres des communautés de marketing de recherche et de commerce électronique ont exprimé leur inquiétude quant à l'avenir du Web en raison des moteurs de recherche IA. Le moteur de recherche IA de Brave affiche toujours des liens et, plus important encore, il ne répond pas par défaut aux requêtes commerciales ou transactionnelles avec l'IA, ce qui devrait être une bonne nouvelle pour les référenceurs et les entreprises en ligne. Brave valorise l'écosystème Web et surveillera les modèles de visite du site Web.
Search Engine Journal s'est entretenu avec Josep M. Pujol, chef de la recherche chez Brave, qui a répondu aux questions sur l'index de recherche, son fonctionnement avec l'IA et, plus important encore, il a partagé ce que les référenceurs et les propriétaires d'entreprise doivent savoir pour améliorer les classements.
Contrairement à d'autres solutions de recherche IA, le moteur de recherche IA de Brave est entièrement alimenté par son propre index de recherche de sites Web explorés et classés. L'ensemble de la technologie sous-jacente, de l'index de recherche aux grands modèles linguistiques (LLM) et même à la technologie Retrieval Augmented Generation (RAG), est entièrement développée par Brave. Ceci est particulièrement intéressant du point de vue de la confidentialité et rend également les résultats de recherche Brave uniques, les distinguant davantage des autres alternatives de moteurs de recherche Me-Too.
Le moteur de recherche lui-même est entièrement réalisé en interne. Selon Josep M. Pujol, chef de la recherche chez Brave :
« Nous avons un accès en temps réel à tous nos index, soit plus de 20 milliards de pages, ce qui signifie que nous extrayons des informations arbitraires en temps réel (schémas, tables, extraits de code, descriptions, etc.). De plus, nous sommes très précis sur les données à utiliser, depuis des paragraphes entiers ou des textes sur une page jusqu'à des phrases simples ou des lignes dans un tableau.
Étant donné que nous disposons d’un moteur de recherche complet, l’accent n’est pas mis sur la récupération, mais sur la sélection et le classement. De plus, pour les pages de notre index, nous avons accès aux mêmes informations utilisées pour le classement, telles que les scores, la popularité, etc. Ceci est essentiel pour aider à sélectionner les sources les plus pertinentes.
La façon dont le moteur de recherche fonctionne est qu'il dispose d'un index de recherche et de grands modèles linguistiques, ainsi que de la technologie de récupération augmentée (RAG) entre les deux, qui maintient les réponses à jour et basées sur des faits. J'ai posé des questions sur RAG et Josep a confirmé que c'était comme ça que ça fonctionnait.
Il a répondu:
« Vous avez raison, notre nouvelle fonctionnalité utilise RAG. En fait, nous avons déjà utilisé cette technique sur notre précédente fonctionnalité Summarizer publiée en mars 2023. Cependant, dans cette nouvelle fonctionnalité, nous augmentons à la fois la quantité et la qualité des données utilisées dans le contenu de l'invite. »
J'ai posé des questions sur les modèles linguistiques utilisés dans le nouveau moteur de recherche d'IA et sur la manière dont ils sont déployés.
« Les modèles sont déployés sur les instances AWS p4 avec VLLM.
Nous utilisons une combinaison de Mistral 8x7B et Mistral 7B comme modèle LLM principal.
Cependant, nous exécutons également plusieurs modèles de transformateurs formés personnalisés pour des tâches auxiliaires telles que la correspondance sémantique et la réponse aux questions. Ces modèles sont beaucoup plus petits en raison d'exigences strictes en matière de latence (10-20 ms).
Ces tâches auxiliaires sont cruciales pour notre fonctionnalité, puisque ce sont elles qui effectuent la sélection des données qui finiront par figurer sur l'invite finale du LLM ; ces données peuvent être des extraits de texte dépendant de la requête, des schémas, des données tabulaires ou des données structurées internes provenant de nos extraits enrichis. Il ne s’agit pas de pouvoir récupérer beaucoup de données, mais de sélectionner les candidats à ajouter au contexte d’invite.
Par exemple, la requête « présidents de France par parti » traite 220 Ko de données brutes, dont 462 lignes sélectionnées parmi 47 tables, 7 schémas. La taille de l’invite est d’environ 6 500 jetons et la réponse finale n’est que de 876 octets.
Bref, on pourrait dire qu’avec « Answer with AI » on passe de 20 milliards de pages à quelques milliers de tokens.
J'ai ensuite demandé comment le nouveau moteur de recherche ferait apparaître la recherche locale. J'ai demandé à Josep s'il pouvait partager quelques scénarios et exemples de requêtes dans lesquels le moteur de réponse IA ferait apparaître des entreprises locales. Par exemple, si je recherche les meilleurs hamburgers de San Francisco, le moteur de réponse IA fournira-t-il une réponse et des liens vers celle-ci ? Est-ce que cela sera utile aux personnes qui planifient un voyage d'affaires ou de vacances ?
Josep répondit :
« L'index Brave Search contient plus d'un milliard de schémas géolocalisés, à partir desquels nous pouvons extraire plus de 100 millions d'entreprises et autres points d'intérêt.
Answer with AI est un terme générique désignant Search + LLM + plusieurs modèles et services d'apprentissage automatique spécialisés pour récupérer, classer, nettoyer, combiner et représenter des informations. Nous le mentionnons car les LLM ne prennent pas toutes les décisions. À l’heure actuelle, nous les utilisons principalement pour synthétiser des informations non structurées et structurées, ce qui se produit aussi bien dans les opérations hors ligne que lors des requêtes.
Parfois, le résultat final semble très influencé par le LLM (c'est le cas lorsque nous pensons que la réponse à la question de l'utilisateur est un seul point d'intérêt, par exemple « checkin faro cuisine », et d'autres fois, leur travail est plus subtil (par exemple « les meilleurs hamburgers » sf"), générant une description d'entreprise à travers différentes références Web ou consolidant une catégorie pour l'entreprise dans une taxonomie cohérente. "
J'ai ensuite demandé si l'utilisation des données structurées Schema.org était utile pour aider un site à mieux se classer dans Brave et s'il avait d'autres conseils pour le référencement et les entreprises en ligne.
Il a répondu:
« Bien entendu, nous accordons une attention particulière aux données structurées de schema.org lors de la création du contexte de l'invite LLM. Le mieux est d’avoir des données structurées sur leur activité (schémas standards de schema.org). Plus ces schémas sont complets, plus la réponse sera précise.
Cela dit, notre Answer with AI sera en mesure de faire apparaître des données sur l'entreprise qui ne sont pas non plus dans ces schémas, mais il est toujours conseillé de répéter les informations dans différents formats.
Certaines entreprises s'appuient uniquement sur des agrégateurs (Yelp, Tripadvisor, Pages Jaunes) pour leurs informations commerciales. Il y a des avantages à ajouter des schémas au site Web de l'entreprise, ne serait-ce que pour l'exploration des robots.
Brave a partagé que dans un avenir proche, ils intégreront la nouvelle fonctionnalité de recherche AI directement dans le navigateur Brave.
Josep a expliqué :
«Nous prévoyons d'intégrer très prochainement le moteur de réponse IA à Brave Leo (l'assistant IA intégré au navigateur Brave). Les utilisateurs auront la possibilité d'envoyer la réponse à Leo et d'y poursuivre la session.
L'annonce de Brave partageait également ces faits sur le nouveau moteur de recherche :
« Les réponses génératives de Brave Search ne sont pas que du texte. L'intégration profonde entre l'index et le modèle nous permet de combiner des enrichissements en ligne, contextuels et d'entités nommées (un processus qui ajoute plus de contexte à une personne, un lieu ou un objet) au fur et à mesure que la réponse est générée. Cela signifie que les réponses combinent du texte génératif avec d’autres types de médias, notamment des cartes d’information et des images.
Le moteur de réponse Brave Search peut même combiner les données de l'index et les résultats géolocalisés pour fournir des informations riches sur les points d'intérêt. À ce jour, l'index Brave Search compte plus d'un milliard de schémas géolocalisés, à partir desquels nous pouvons extraire plus de 100 millions d'entreprises et autres points d'intérêt. Ces listes, plus volumineuses que n'importe quel ensemble de données publiques, signifient que le moteur de réponse peut fournir des résultats riches et instantanés pour les points d'intérêt partout dans le monde.
Lire l'annonce officielle :
Essayez la nouvelle recherche AI sur http://search.brave.com/
Découvrez les secrets de la gestion d'un programme d'affiliation réussi. De l'intégration des affiliés à la création d'une stratégie de communication, la deuxième partie de cette série vous couvre.
Boostez la gestion globale de votre site Web avec des outils d'IA. Découvrez les avantages de l’exploitation de la technologie IA pour le contenu, le référencement, la recherche et bien plus encore.
Regardez ce webinaire à la demande et voyez iQuanti partager des informations exploitables pour mesurer le succès au sein des canaux croisés de la recherche organique et payante.