Forum sur la sécurité de l'IA OpenAI, Google, Microsoft et Anthropic Form

Dans un mouvement significatif visant à assurer le développement sûr et responsable des modèles d'IA de pointe, quatre grandes entreprises technologiques – OpenAI, Google, Microsoft et Anthropic – ont annoncé la création du Frontier Model Forum.

L'objectif clé du Frontier Model Forum

Le Frontier Model Forum se concentrera sur trois domaines clés au cours de l'année à venir.

Tout d'abord, il identifiera les meilleures pratiques pour promouvoir le partage des connaissances entre l'industrie, les gouvernements, la société civile et les universités, en se concentrant sur les normes de sécurité et des procédures pour atténuer les risques potentiels.

Deuxièmement, il fera progresser la recherche sur la sécurité de l'IA en identifiant les questions de recherche ouvertes les plus importantes sur la sécurité de l'IA.

Le Forum coordonnera les efforts de recherche sur la robustesse face à l'adversaire , interprétabilité mécaniste, surveillance évolutive, accès indépendant à la recherche, comportements émergents et détection des anomalies.

Enfin, cela facilitera le partage d'informations entre les entreprises et les gouvernements en établissant des mécanismes fiables et sécurisés pour le partage d'informations concernant la sécurité et les risques de l'IA .

Le Forum définit les modèles frontières comme des modèles d'apprentissage automatique à grande échelle qui dépassent les capacités actuelles des modèles existants les plus avancés et peuvent effectuer diverses tâches.

Conditions d'adhésion au forum

L'adhésion est ouverte aux organisations qui développent et déploient des modèles frontières, démontrent un engagement solide envers la sécurité des modèles frontières, et sont disposés à contribuer à faire avancer les efforts du Forum.

En outre, le Forum établira un Conseil consultatif pour guider sa stratégie et ses priorités.

Les sociétés fondatrices établiront également des institutions vitales arrangements, y compris une charte, une gouvernance et un financement, avec un groupe de travail et un conseil exécutif pour diriger ces efforts.

Le Forum prévoit de consulter la société civile et les gouvernements dans les semaines à venir sur la conception du Forum et sur les moyens significatifs de collaborer.

Le Forum Frontier Model cherchera également à s'appuyer sur le travail précieux de l'industrie, de la société civile et des efforts de recherche existants dans chaque domaine de travail.

Des initiatives telles que Partenariat sur l'IA et MLCommons continuent de contribuer de manière significative à la communauté de l'IA. Le Forum explorera les moyens de collaborer et de soutenir ces efforts multipartites précieux et d'autres.

Les dirigeants des entreprises fondatrices ont exprimé leur enthousiasme et leur engagement envers l'initiative.

" Nous sommes ravis de travailler avec d'autres entreprises de premier plan, partageant notre expertise technique pour promouvoir l'innovation responsable en IA. L'engagement des entreprises, des gouvernements et de la société civile sera essentiel pour tenir la promesse de l'IA de profiter à tous. »

Kent Walker, président, Affaires mondiales, Google & ; Alphabet

"Les entreprises qui créent la technologie de l'IA ont la responsabilité de s'assurer qu'elle est sûre, sécurisée et reste sous contrôle humain. Cette initiative est une étape essentielle pour rassembler le secteur technologique afin de faire progresser l'IA de manière responsable et de relever les défis afin qu'elle profite à toute l'humanité. »

Brad Smith, vice-président et amp ; Président, Microsoft

« Les technologies avancées d'IA ont le potentiel de bénéficier profondément à la société, et la capacité d'atteindre ce potentiel nécessite une surveillance et une gouvernance. Il est essentiel que les entreprises d'IA - en particulier celles qui travaillent sur les modèles les plus puissants - s'alignent sur un terrain d'entente et fassent progresser des pratiques de sécurité réfléchies et adaptables pour garantir que les outils d'IA puissants présentent les avantages les plus larges possibles. Il s'agit d'un travail urgent et ce forum est bien placé pour agir rapidement pour faire progresser l'état de la sécurité de l'IA. »

Anna Makanju, vice-présidente des affaires mondiales, OpenAI

« Anthropic croit que l'IA a le potentiel de changer fondamentalement le fonctionnement du monde. Nous sommes ravis de collaborer avec l'industrie, la société civile, le gouvernement et le milieu universitaire pour promouvoir un développement sûr et responsable de la technologie. Le Frontier Model Forum jouera un rôle essentiel dans la coordination des meilleures pratiques et le partage de la recherche sur la sécurité de l'IA à la frontière.

Dario Amodei, PDG, Anthropic

" Nous sommes ravis de travailler avec d'autres entreprises de premier plan, partageant notre expertise technique pour promouvoir l'innovation responsable en IA. L'engagement des entreprises, des gouvernements et de la société civile sera essentiel pour tenir la promesse de l'IA de profiter à tous. »

Kent Walker, président, Affaires mondiales, Google & ; Alphabet

"Les entreprises qui créent la technologie de l'IA ont la responsabilité de s'assurer qu'elle est sûre, sécurisée et reste sous contrôle humain. Cette initiative est une étape essentielle pour rassembler le secteur technologique afin de faire progresser l'IA de manière responsable et de relever les défis afin qu'elle profite à toute l'humanité. »

Brad Smith, vice-président et amp ; Président, Microsoft

« Les technologies avancées d'IA ont le potentiel de bénéficier profondément à la société, et la capacité d'atteindre ce potentiel nécessite une surveillance et une gouvernance. Il est essentiel que les entreprises d'IA - en particulier celles qui travaillent sur les modèles les plus puissants - s'alignent sur un terrain d'entente et fassent progresser des pratiques de sécurité réfléchies et adaptables pour garantir que les outils d'IA puissants présentent les avantages les plus larges possibles. Il s'agit d'un travail urgent et ce forum est bien placé pour agir rapidement pour faire progresser l'état de la sécurité de l'IA. »

Anna Makanju, vice-présidente des affaires mondiales, OpenAI

« Anthropic croit que l'IA a le potentiel de changer fondamentalement le fonctionnement du monde. Nous sommes ravis de collaborer avec l'industrie, la société civile, le gouvernement et le milieu universitaire pour promouvoir un développement sûr et responsable de la technologie. Le Frontier Model Forum jouera un rôle essentiel dans la coordination des meilleures pratiques et le partage de la recherche sur la sécurité de l'IA à la frontière.

Dario Amodei, PDG, Anthropic

Red Teaming For Safety

Anthropic, en particulier, a souligné l'importance de la cybersécurité dans le développement de modèles d'IA de pointe .

Les créateurs de Claude 2 ont récemment dévoilé leur stratégie pour "équipe rouge », une technique de test contradictoire visant à renforcer la sûreté et la sécurité des systèmes d'IA.

Cette méthode intensive et axée sur l'expertise évalue les risques de base et établit des pratiques cohérentes dans de nombreux domaines.

Dans le cadre de leur initiative, Anthropic a mené une étude classifiée sur les risques biologiques, concluant que des modèles non atténués pourraient constituer des menaces imminentes pour la sécurité nationale.

Pourtant, l'entreprise ont également identifié des mesures d'atténuation substantielles qui pourraient minimiser ces dangers potentiels.

Les menaces frontalières Le processus d'équipe rouge implique de travailler avec des experts du domaine pour définir des modèles de menace, de développer des évaluations automatisées basées sur des informations d'experts et d'assurer la répétabilité et l'évolutivité de ces évaluations.

Dans leur étude axée sur la biosécurité impliquant plus de 150 heures de red teaming, Anthropic a découvert que les modèles d'IA avancés peuvent générer des connaissances complexes, précises et exploitables à un niveau expert.

À mesure que les modèles augmentent en taille et accèdent aux outils, leurs compétences, en particulier en biologie, augmentent, actualisant potentiellement ces risques d'ici deux à trois ans.

La recherche d'Anthropic a conduit à la découverte d'atténuations qui réduisent les sorties nocives pendant le processus de formation et rendent difficile pour les acteurs malveillants d'obtenir des informations détaillées, liées et de niveau expert à des fins destructrices.

Actuellement, ces mesures d'atténuation sont intégrées dans le programme public d'Anthropic modèle de frontière, avec d'autres expériences en cours.

Les entreprises d'IA s'engagent à gérer les risques liés à l'IA

La semaine dernière, le White House a négocié des engagements volontaires auprès de sept principales sociétés d'IA—Amazon, OpenAI, Google, Microsoft, Inflection, Meta et Anthropic.

Les sept sociétés d'IA, synonymes de l'avenir de la technologie, se sont vu confier la responsabilité d'assurer la sécurité de leurs produits.< /p>

L'administration Biden-Harris a souligné la nécessité de respecter les normes les plus élevées pour garantir que les avancées innovantes ne se fassent pas au détriment des droits et de la sécurité des citoyens américains.

Les trois principes directeurs auxquels s'engagent les entreprises participantes sont la sûreté, la sécurité et la confiance.

Avant expédiant un produit, les entreprises se sont engagées à effectuer des tests de sécurité internes et externes des systèmes d'IA, gérés en partie par des experts indépendants. L'objectif serait de contrer les risques tels que la biosécurité, la cybersécurité et les effets sociétaux plus larges.

La sécurité était au premier plan de ces engagements, promettant de renforcer la cybersécurité et d'établir des protections contre les menaces internes pour protéger les pondérations de modèles propriétaires et non publiées , le composant central d'un système d'IA.

Pour inspirer la confiance du public, les entreprises se sont également engagées à créer des mécanismes robustes pour informer les utilisateurs lorsque le contenu est généré par l'IA.

Ils se sont également engagés à publier des rapports publics sur les capacités, les limites et la portée d'utilisation des systèmes d'IA. Ces rapports pourraient faire la lumière sur les risques sécuritaires et sociétaux, y compris les effets sur l'équité et la partialité.

En outre, ces entreprises s'engagent à faire progresser les systèmes d'IA pour relever certains des défis les plus importants au monde, notamment la prévention du cancer et l'atténuation du changement climatique.

Dans le cadre de l'agenda, l'administration prévoit de travailler avec des alliés et des partenaires internationaux pour établir un cadre solide régissant le développement et l'utilisation de l'IA.

Vote du public sur Sécurité de l'IA

En juin, OpenAI a lancé une initiative avec la Citizens Foundation et The Governance Lab pour connaître le sentiment du public sur la sécurité de l'IA.

Un site Web a été créé pour favoriser la discussion sur les risques potentiels associés aux LLM.

Les membres du public pouvaient voter sur les priorités de sécurité de l'IA via un outil connu sous le nom d'AllOurIdeas. Il a été conçu pour aider à comprendre la hiérarchisation par le public de diverses considérations associées aux risques d'IA.

L'outil utilise une méthode appelée "Pairwise Vote", qui invite les utilisateurs à juxtaposer deux priorités potentielles de risque d'IA et à sélectionner celle qu'ils souhaitent jugent plus crucial.

L'objectif est de glaner autant d'informations que possible sur les préoccupations du public, orientant ainsi les ressources plus efficacement vers la résolution des problèmes que les gens trouvent les plus urgents.

Les votes ont permis d'évaluer l'opinion publique sur le développement responsable de la technologie de l'IA.

Dans les prochains semaines, une table ronde virtuelle sera organisée pour évaluer les résultats de cette consultation publique.

Une analyse GPT-4 des votes a déterminé que les trois principales idées pour l'IA étaient les suivantes.

À l'inverse, il y avait trois idées impopulaires :

1. Une approche équilibrée impliquerait des organismes gouvernementaux fournissant conseils, que les entreprises d'IA peuvent utiliser pour créer leurs conseils.
2. Les décisions de mise à mort/vivre d'armes avancées ne sont pas prises à l'aide de l'IA.
3. L'utilisation à des fins politiques ou religieuses n'est pas recommandée car elle peut créer une nouvelle approche de campagne.

L'avenir de la sécurité de l'IA

Alors que l'IA joue un rôle de plus en plus important dans la recherche et le marketing numérique, ces développements revêtent une importance considérable pour ceux dans le marketing et la technologie.

Ces engagements et initiatives pris par les principales entreprises d'IA pourraient façonner les réglementations et les politiques en matière d'IA et conduire à un avenir de développement responsable de l'IA.

Image sélectionnée : Derek W/Shutterstock