GPT-4 peut-il réduire le coût humain de la modération de contenu ? OpenAI le pense

OpenAI a annoncé avoir développé un système d'IA utilisant GPT-4 pour aider à la modération de contenu sur les plateformes en ligne.

La société affirme que ce système permet une itération plus rapide des changements de politique et un contenu plus cohérent étiquetage que la modération humaine traditionnelle.

OpenAI a déclaré dans son annonce :

"La modération de contenu joue un rôle crucial dans le maintien de la santé des plateformes numériques. Un système de modération de contenu utilisant GPT-4 permet une itération beaucoup plus rapide des changements de politique, réduisant le cycle de plusieurs mois à quelques heures. »

"La modération de contenu joue un rôle crucial dans le maintien de la santé des plateformes numériques. Un système de modération de contenu utilisant GPT-4 permet une itération beaucoup plus rapide des changements de politique, réduisant le cycle de plusieurs mois à quelques heures. »

Cette décision vise à améliorer la cohérence de l'étiquetage du contenu, à accélérer les mises à jour des politiques et à réduire la dépendance à l'égard des modérateurs humains.

Cela pourrait également avoir un impact positif sur les humains. la santé mentale des modérateurs, soulignant le potentiel de l'IA pour protéger la santé mentale en ligne.

Défis de la modération de contenu

OpenAI a expliqué que la modération de contenu est un travail difficile qui nécessite des efforts méticuleux, une compréhension nuancée du contexte et adaptation continue aux nouveaux cas d'utilisation.

Traditionnellement, ces tâches à forte intensité de main-d'œuvre incombaient à des modérateurs humains. Ils examinent de grands volumes de contenu généré par les utilisateurs pour supprimer les éléments nuisibles ou inappropriés.

Cela peut être un travail mentalement éprouvant. L'utilisation de l'IA pour faire le travail pourrait potentiellement réduire le coût humain de la modération de contenu en ligne.

Comment Le système d'IA d'OpenAI fonctionne

Le nouveau système d'OpenAI vise à aider les modérateurs humains en utilisant GPT-4 pour interpréter les politiques de contenu et porter des jugements de modération.

Les experts en politiques rédigent d'abord des directives de contenu et des exemples d'étiquettes qui correspondent à la politique.

GPT-4 attribue ensuite les étiquettes aux mêmes exemples sans voir les réponses de l'examinateur.

En comparant les étiquettes de GPT-4 aux étiquettes humaines, OpenAI peut affiner définitions de politiques ambiguës et recycler l'IA jusqu'à ce qu'elle interprète les directives de manière fiable.

Exemple

Dans un article de blog, OpenAI montre comment un réviseur humain pourrait clarifier les politiques lorsqu'il n'est pas d'accord avec une étiquette GPT -4 attribue au contenu.

Dans l'exemple ci-dessous, un réviseur humain étiqueté quelque chose de K3 (promouvoir des dommages non violents), mais le GPT-4 a estimé que cela ne violait pas la politique de comportement illicite.

Le fait que GPT-4 explique pourquoi il a choisi une étiquette différente permet à l'examinateur humain de comprendre où les politiques ne sont pas claires.

Ils ont réalisé que GPT-4 manquait la nuance selon laquelle le vol de biens serait considéré comme faisant la promotion de dommages non violents en vertu de la politique K3.< /p>

Cette interaction met en évidence comment la surveillance humaine peut former davantage les systèmes d'IA en clarifiant les politiques dans les domaines où les connaissances de l'IA sont imparfaites.

Une fois la politique comprise, GPT-4 peut être déployé pour modérer contenu à grande échelle.

Avantages mis en évidence par OpenAI

OpenAI a décrit plusieurs avantages qu'il pense que le système de modération assistée par l'IA offre :

• Étiquetage plus cohérent, puisque l'IA s'adapte rapidement aux changements de politique
• Boucle de rétroaction plus rapide pour améliorer les politiques, réduisant les cycles de mise à jour de plusieurs mois à quelques heures
• Réduction de la charge mentale pour les modérateurs humains

Sur ce dernier point, OpenAI devrait envisager de mettre l'accent sur les avantages potentiels de la modération de l'IA pour la santé mentale si elle veut pour soutenir l'idée.

L'utilisation de GPT-4 pour modérer le contenu au lieu d'humains pourrait aider de nombreux modérateurs en leur évitant d'avoir à visionner des contenus traumatisants.

Cette évolution peut réduire le besoin de modérateurs humains de s'engager directement avec du contenu offensant ou préjudiciable, réduisant ainsi leur charge mentale.

Limites & ; Considérations éthiques

Les jugements rendus par OpenAI par les modèles d'IA peuvent contenir des biais indésirables, les résultats doivent donc être surveillés et validés. Il a souligné que les humains devraient rester « informés » pour les cas de modération complexes.

La société explore des moyens d'améliorer les capacités de GPT-4 et vise à tirer parti de l'IA pour identifier les risques de contenu émergents qui peuvent éclairer de nouvelles politiques.

Image en vedette : sun ok/Shutterstock< /em>