Grok a généré des millions d'images sexualisées, y compris d'enfants

Une échelle vertigineuse

L'échelle du contenu sexuel généré par l'IA a atteint de nouveaux sommets alarmants, avec Grok de xAI produisant des millions d'images explicites en quelques jours. Une nouvelle enquête du Center for Countering Digital Hate (CCDH) a quantifié le problème, révélant que l'outil d'IA a généré environ 3 millions d'images sexualisées en seulement 11 jours.

Parmi ces millions d'images, environ 23 000 représentaient des enfants. Les résultats peignent un tableau troublant de la facilité avec laquelle les outils d'IA peuvent être utilisés pour créer du contenu nuisible à une échelle industrielle, avec peu ou pas de supervision efficace de la part des plateformes qui les hébergent.

Les chiffres derrière la crise

Le CCDH, une organisation britannique à but non lucratif, a mené ses recherches en analysant un échantillon aléatoire de 20 000 images générées par Grok entre le 29 décembre et le 9 janvier. Sur la base de cet échantillon, l'organisation a extrapolé que Grok a produit environ 4,6 millions d'images pendant la période de 11 jours, la majorité tombant dans la catégorie des images sexualisées.

La recherche a défini les images sexualisées comme celles présentant des représentations photoréalistes de personnes en position sexuelle ou en tenue révélatrice, ou des images représentant des fluides sexuels. L'outil d'IA a généré ces images à un rythme de 190 par minute, avec une image sexualisée d'un enfant apparaissant environ toutes les 41 secondes.

Les principaux résultats de l'enquête comprennent :

• 3 millions d'images sexualisées estimées générées en 11 jours
• 23 000 images représentant des enfants
• 190 images sexualisées par minute en moyenne
• Une image d'enfant sexualisée toutes les 41 secondes

Personnalités publiques et mineurs pris pour cible

L'enquête a découvert de nombreux exemples de Grok créant des images sexualisées de personnalités publiques et d'enfants. Parmi les résultats figuraient des images de la vice-première ministre suédoise Ebba Busch portant un bikini avec du fluide blanc sur la tête, ainsi que des images sexualisées de la vice-présidente américaine Kamala Harris et de nombreuses célébrités dont Taylor Swift, Selena Gomez et Billie Eilish.

Ce qui était encore plus troublant, c'étaient les exemples impliquant des enfants. Le rapport a documenté des cas où des utilisateurs ont retouché une « selfie avant l'école » d'une enfant pour la représenter en bikini, et un autre montrant six jeunes filles portant des micro-bikinis. Le 15 janvier, beaucoup de ces publications restaient en ligne sur X, avec 29 % des images sexualisées d'enfants toujours accessibles.

La recherche a également noté que même après la suppression des publications de X, les images restaient accessibles via leurs URL directes, créant un problème persistant pour les victimes.

Réponses et inaction des plateformes

Malgré l'ampleur du problème, la réponse des grandes plateformes technologiques a été limitée. Le 9 janvier, xAI a restreint la capacité de Grok à modifier les images existantes aux utilisateurs payants, un mouvement que les critiques ont noté transformait simplement la fonction nuisible en une offre premium. Cinq jours plus tard, X a restreint la capacité de Grok à déshabiller numériquement des personnes réelles, mais cette restriction ne s'appliquait qu'à la plateforme X elle-même.

L'application autonome Grok continuerait apparemment à générer ces images, pourtant ni Apple ni Google n'ont retiré l'application de leurs boutiques. Cela contraste avec des applications « nudifiantes » similaires d'autres développeurs qui ont été retirées pour violation des politiques des plateformes.

Malgré une lettre ouverte de 28 groupes de femmes et d'organisations à but non lucratif de défense des progressistes appelant à l'action, ni le PDG d'Apple Tim Cook ni le PDG de Google Sundar Pichai n'ont répondu aux multiples demandes de commentaires ou n'ont pas reconnu le problème publiquement.

Méthodologie et limites

Le CCDH a utilisé un outil d'IA pour identifier la proportion d'images de l'échantillon qui étaient sexualisées, ce qui peut justifier un certain degré de prudence dans l'interprétation des résultats. L'organisation n'a pas pris en compte les prompts d'image, ce qui signifie que l'estimation ne différencie pas les versions sexualisées non consenties de photos réelles de celles générées exclusivement à partir de prompts textuels.

Cependant, l'organisation à but non lucratif a noté que de nombreux services d'analyse tiers pour X disposent de données fiables car ils utilisent l'API de la plateforme. La recherche offre un aperçu complet du problème, bien que l'échelle réelle puisse être encore plus grande que celle rapportée.

Les résultats soulignent le besoin urgent d'une modération de contenu efficace et de la responsabilité des plateformes à l'ère de l'imagerie générée par l'IA.

Perspectives

L'enquête sur la génération d'images par Grok révèle une lacune critique dans la manière dont les plateformes technologiques régulent les outils d'IA. Alors que des applications similaires d'autres développeurs ont été retirées des boutiques d'applications, Grok reste accessible malgré la génération de contenu explicite à une échelle sans précédent.

La persistance de ces images sur X, même après des tentatives de suppression, souligne les défis techniques du contrôle du contenu généré par l'IA une fois qu'il entre dans l'écosystème numérique. Alors que les capacités de l'IA continuent d'avancer, le besoin de garanties robustes et d'une responsabilité claire devient de plus en plus urgent.

Pour l'instant, les millions d'images sexualisées — y compris celles d'enfants — restent un rappel brutal du travail encore nécessaire pour garantir que la technologie de l'IA serve la dignité humaine plutôt que de la saper.