21 février 2024
Google a publié un grand modèle de langage open source basé sur la technologie utilisée pour créer Gemini, à la fois puissant et léger, optimisé pour être utilisé dans des environnements aux ressources limitées, comme sur un ordinateur portable ou une infrastructure cloud.
Gemma peut être utilisé pour créer un chatbot, un outil de génération de contenu et à peu près tout ce qu'un modèle de langage peut faire. C’est l’outil que les référenceurs attendaient.
Il est publié en deux versions, une avec deux milliards de paramètres (2B) et une autre avec sept milliards de paramètres (7B). Le nombre de paramètres indique la complexité et la capacité potentielle du modèle. Les modèles avec plus de paramètres peuvent permettre une meilleure compréhension du langage et générer des réponses plus sophistiquées, mais ils nécessitent également plus de ressources pour être entraînés et exécutés.
Le but de la sortie de Gemma est de démocratiser l'accès à une intelligence artificielle de pointe, formée pour être sûre et responsable dès le départ, avec une boîte à outils pour l'optimiser davantage en termes de sécurité.
Le modèle est développé pour être léger et efficace, ce qui le rend idéal pour le mettre entre les mains d'un plus grand nombre d'utilisateurs finaux.
L'annonce officielle de Google a souligné les points clés suivants :
- « Nous proposons des poids de modèle en deux tailles : Gemma 2B et Gemma 7B. Chaque taille est publiée avec des variantes pré-entraînées et adaptées aux instructions.
- Une nouvelle boîte à outils d'IA générative responsable fournit des conseils et des outils essentiels pour créer des applications d'IA plus sûres avec Gemma.
- Nous fournissons des chaînes d'outils pour l'inférence et le réglage fin supervisé (SFT) dans tous les principaux frameworks : JAX, PyTorch et TensorFlow via Keras 3.0 natif.
- Les blocs-notes Colab et Kaggle prêts à l'emploi, ainsi que l'intégration avec des outils populaires tels que Hugging Face, MaxText, NVIDIA NeMo et TensorRT-LLM, facilitent la prise en main de Gemma.
- Les modèles Gemma pré-entraînés et adaptés aux instructions peuvent s'exécuter sur votre ordinateur portable, votre poste de travail ou Google Cloud avec un déploiement facile sur Vertex AI et Google Kubernetes Engine (GKE).
- L'optimisation sur plusieurs plates-formes matérielles d'IA garantit des performances de pointe, notamment les GPU NVIDIA et Google Cloud TPU.
- Les conditions d’utilisation permettent une utilisation commerciale et une distribution responsables pour toutes les organisations, quelle que soit leur taille.
Selon une analyse d'Awni Hannun, chercheur en apprentissage automatique chez Apple, Gemma est optimisé pour être très efficace de manière à pouvoir être utilisé dans des environnements à faibles ressources.
Hannun a observé que Gemma dispose d'un vocabulaire de 250 000 (250 000) jetons contre 32 000 pour des modèles comparables. L’importance de cela est que Gemma peut reconnaître et traiter une plus grande variété de mots, ce qui lui permet de gérer des tâches avec un langage complexe. Son analyse suggère que ce vocabulaire étendu améliore la polyvalence du modèle sur différents types de contenu. Il pense également que cela peut être utile en mathématiques, en code et dans d’autres domaines.
Il a également été noté que les « poids d’intégration » sont massifs (750 millions). Les poids d'intégration sont une référence aux paramètres qui aident à mapper les mots aux représentations de leurs significations et de leurs relations.
Une caractéristique importante qu'il a soulignée est que les poids d'intégration, qui codent des informations détaillées sur la signification et les relations des mots, sont utilisés non seulement dans le traitement de la partie entrée, mais également dans la génération de la sortie du modèle. Ce partage améliore l'efficacité du modèle en lui permettant de mieux exploiter sa compréhension du langage lors de la production de texte.
Pour les utilisateurs finaux, cela signifie des réponses (contenu) plus précises, pertinentes et contextuellement appropriées du modèle, ce qui améliore son utilisation dans la génération de contenu ainsi que pour les chatbots et les traductions.
Il a tweeté :
« Le vocabulaire est énorme par rapport aux autres modèles open source : 250K contre 32k pour Mistral 7B
Peut-être aide-t-il beaucoup avec les mathématiques/codes/autres modalités avec une lourde queue de symboles.
De plus, les poids d'intégration sont importants (~ 750 millions de paramètres), ils sont donc partagés avec la tête de sortie.
Dans un tweet de suivi, il a également noté une optimisation de la formation qui se traduit par des réponses du modèle potentiellement plus précises et plus raffinées, car elle permet au modèle d'apprendre et de s'adapter plus efficacement pendant la phase de formation.
Il a tweeté :
« Le poids normatif RMS a un décalage unitaire.
Au lieu de « x * poids », ils font « x * (1 + poids) ».
Je suppose qu'il s'agit d'une optimisation de la formation. Habituellement, le poids est initialisé à 1, mais il est probable qu'il soit initialisé à près de 0. Semblable à tous les autres paramètres.
Il a ajouté qu'il y avait davantage d'optimisations dans les données et la formation, mais que ce sont ces deux facteurs qui se sont particulièrement démarqués.
Une caractéristique clé importante est qu’il est conçu dès le départ pour être sûr, ce qui le rend idéal pour le déploiement et l’utilisation. Les données de formation ont été filtrées pour supprimer les informations personnelles et sensibles. Google a également utilisé l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) pour former le modèle à un comportement responsable.
Il a ensuite été débogué avec un réaménagement manuel, des tests automatisés et une vérification des capacités pour les activités indésirables et dangereuses.
Google a également publié une boîte à outils pour aider les utilisateurs finaux à améliorer davantage la sécurité :
« Nous publions également une nouvelle boîte à outils d'IA générative responsable en collaboration avec Gemma pour aider les développeurs et les chercheurs à donner la priorité à la création d'applications d'IA sûres et responsables. La boîte à outils comprend :
- Classification de sécurité : nous proposons une nouvelle méthodologie pour créer des classificateurs de sécurité robustes avec un minimum d'exemples.
- Débogage : un outil de débogage de modèle vous aide à étudier le comportement de Gemma et à résoudre les problèmes potentiels.
- Conseils : vous pouvez accéder aux bonnes pratiques destinées aux créateurs de modèles, basées sur l'expérience de Google en matière de développement et de déploiement de grands modèles linguistiques.
Lisez l'annonce officielle de Google :
Gemma : Présentation de nouveaux modèles ouverts de pointe
Image en vedette par Shutterstock/Photo pour tout
Découvrez les secrets de la gestion d'un programme d'affiliation réussi. De l'intégration des affiliés à la création d'une stratégie de communication, la deuxième partie de cette série vous couvre.
Boostez la gestion globale de votre site Web avec des outils d'IA. Découvrez les avantages de l’exploitation de la technologie IA pour le contenu, le référencement, la recherche et bien plus encore.
Regardez ce webinaire à la demande et voyez iQuanti partager des informations exploitables pour mesurer le succès au sein des canaux croisés de la recherche organique et payante.