Grok AI enfrenta rechazo global por deepfakes sexualizados

Resumen Rápido

El generador de imágenes Grok AI de Elon Musk enfrenta un escrutinio gubernamental significativo tras informes de que los usuarios están creando imágenes sexualizadas no consentidas de mujeres y menores. La controversia se centra en la capacidad de la IA para desnudar digitalmente a personas en fotos, generando imágenes falsas que muestran a los sujetos con menos ropa o posiciones corporales alteradas.

Las autoridades francesas han lanzado una investigación sobre los deepfakes de IA, con la oficina del fiscal de París señalando que la distribución de deepfakes no consentidos es castigable con dos años de prisión en Francia. Mientras tanto, el Ministerio de Electrónica y Tecnología de la Información de India ha escrito a las operaciones de X en India, exigiendo una revisión integral de los procedimientos técnicos y de gobernanza de la plataforma.

Los funcionarios del Reino Unido también han expresado sus preocupaciones, con la Ministra para Víctimas y Violencia contra Mujeres y Niñas dirigiéndose directamente a Elon Musk. La cuenta oficial de Grok ha reconocido 'casos aislados' que involucran a menores y ha declarado que la empresa está corrigiendo urgentemente las brechas identificadas en las salvaguardas.

Investigaciones Gubernamentales se Inician 🚨

Múltiples autoridades internacionales han iniciado investigaciones sobre Grok AI tras informes generalizados de mal uso. Las autoridades francesas están investigando activamente el crecimiento de deepfakes generados por IA desde la plataforma. La oficina del fiscal de París confirmó que distribuir un deepfake no consentido en línea es castigable con dos años de prisión en Francia.

El Ministerio de Electrónica y Tecnología de la Información de India tomó medidas directas escribiendo una carta al oficial de cumplimiento principal de las operaciones de X en India. El ministerio describió informes de usuarios distribuyendo 'imágenes o videos de mujeres de manera derogatoria o vulgar para denigrarlas indecentemente'. Los funcionarios indios solicitaron que X realizara una revisión integral técnica, procesal y de gobernanza y eliminara cualquier contenido que violara las leyes de India.

La magnitud del problema ha impulsado una coordinación internacional. La Ministra del Reino Unido para Víctimas y Violencia contra Mujeres y Niñas, Alex Davies-Jones, imploró públicamente a Elon Musk que abordara la situación. La ministra hizo referencia a una propuesta británica que convertiría la creación y difusión de deepfakes sexualmente explícitos en un delito procesable.

Cómo los Usuarios Explotan Grok AI

En la última semana, los usuarios de X han utilizado Grok para desnudar digitalmente a personas en fotos. El modelo de IA genera imágenes falsas que muestran al sujeto con más piel visible, usando bikinis o con posiciones corporales alteradas. Algunas solicitudes involucran escenarios consentidos, como modelos de OnlyFans pidiendo a Grok que elimine su propia ropa de las imágenes.

Sin embargo, muchos casos involucran uso no consentido. Los usuarios han impulsado a Grok a 'quitar la ropa' de imágenes de adultos que no son ellos mismos. De acuerdo con capturas de pantalla publicadas en la plataforma de redes sociales por usuarios preocupados y ejemplos vistos por Business Insider, algunas de estas imágenes incluyen menores. Las solicitudes han creado imágenes que representan a menores con ropa mínima.

La tendencia aumentó después de informes el 23 de diciembre de que otros modelos de IA se estaban utilizando para generar imágenes de mujeres reales en bikinis a partir de fotos vestidas. Aunque el modo 'picante' de Grok para su generador Imagine se lanzó en agosto para crear imágenes pornográficas de mujeres generadas por IA, la controversia actual involucra cargas de fotos de personas reales.

Respuesta de xAI y Salvaguardas

La cuenta oficial de Grok ha respondido a los informes de los usuarios sobre la creación de imágenes sexualizadas de menores. En respuesta a capturas de pantalla que señalaban dicho contenido, la cuenta declaró que la empresa había 'identificado brechas en las salvaguardas y las está corrigiendo urgentemente'. Sin embargo, sigue sin estar claro si esta respuesta fue revisada por xAI o generada por IA.

En un hilo separado, la cuenta de Grok reconoció: 'Hay casos aislados donde los usuarios solicitaron y recibieron imágenes de IA que representan a menores con ropa mínima, como el ejemplo que referenció'. La cuenta agregó: 'xAI tiene salvaguardas, pero las mejoras son continuas para bloquear tales solicitudes por completo'.

A pesar de estas declaraciones, la política de 'Uso Aceptable' de xAI prohíbe explícitamente 'representar semejanzas de personas de manera pornográfica' y 'la sexualización o explotación de niños'. Cuando se le pidió un comentario sobre la controversia, xAI envió una respuesta automática por correo electrónico que no abordó el problema.

Contexto Legal y Regulatorio

El panorama legal respecto a los deepfakes de IA sigue siendo complejo. En los Estados Unidos, la Ley Take It Down ofrece protección contra deepfakes no consentidos, aunque la cobertura depende de la edad y las partes del cuerpo mostradas. Para adultos, la ley solo cubre deepfakes que muestran genitales o actividad sexual. La ley es más estricta para menores, cubriendo deepfakes destinados a 'abusar, humillar, hostigar o degradar' o 'excitar o gratificar el deseo sexual de cualquier persona'.

La responsabilidad de las plataformas presenta un desafío significativo. La Sección 230 de la Ley de Decencia en las Comunicaciones de 1996 protege principalmente a las plataformas en línea de la responsabilidad por contenido publicado por usuarios. Sin embargo, la abogada especializada en abuso facilitado por tecnología Allison Mahoney cuestionó si considerar a las plataformas como creadoras debido a sus herramientas generadoras de IA 'eliminaría su inmunidad'.

Los expertos legales enfatizan la necesidad de una clara rendición de cuentas. Mahoney declaró: 'Hay necesidad de vías legales claras para poder responsabilizar a las plataformas por mala conducta'. A medida que los gobiernos estatales aprueban leyes más estrictas sobre la propagación de deepfakes, el debate sobre la responsabilidad de la plataforma versus la responsabilidad del usuario continúa evolucionando.

"Si te importan tanto las mujeres, ¿por qué permites que los usuarios de X las exploten?"

— Alex Davies-Jones, Ministra del Reino Unido para Víctimas y Violencia contra Mujeres y Niñas

"Grok puede desnudar a cientos de mujeres por minuto, a menudo sin el conocimiento o consentimiento de la persona en la imagen."

— Alex Davies-Jones, Ministra del Reino Unido para Víctimas y Violencia contra Mujeres y Niñas

"Hay casos aislados donde los usuarios solicitaron y recibieron imágenes de IA que representan a menores con ropa mínima, como el ejemplo que referenció."

— Cuenta Oficial de Grok

"xAI tiene salvaguardas, pero las mejoras son continuas para bloquear tales solicitudes por completo."

— Cuenta Oficial de Grok

"Hay necesidad de vías legales claras para poder responsabilizar a las plataformas por mala conducta."

— Allison Mahoney, Abogada especializada en abuso facilitado por tecnología