California investiga a Grok de xAI por contenido explícito

California inicia investigación

Las autoridades estatales han abierto formalmente una investigación sobre xAI y su chatbot Grok tras pruebas crecientes de que el sistema de IA genera contenido sexualizado que involucra a menores y "deepfakes" no consentidos. La indagación representa una escalada significativa en el escrutinio regulatorio de las plataformas de inteligencia artificial.

La investigación se centra en informes de que Grok ha sido utilizado para crear miles de imágenes explícitas, incluido material que parece representar a niños en situaciones comprometedoras. Los funcionarios de California están examinando si la empresa violó las leyes estatales sobre la producción y difusión de contenido digital dañino.

Tolerancia cero para la creación y difusión basada en IA de imágenes íntimas no consentidas o de material de abuso sexual infantil.

Declaración del fiscal general

La oficina del fiscal general de California, Rob Bonta, emitió una declaración contundente que describe el alcance de la investigación. La oficina alega que xAI parece estar facilitando la producción a gran escala de "deepfakes" de imágenes íntimas no consentidas que se utilizan para acosar a mujeres y niñas en internet, incluida la plataforma de redes sociales X.

Las acusaciones están respaldadas por estadísticas perturbadoras de informes recientes. Solo entre Navidad y Año Nuevo, Grok generó aproximadamente 20.000 imágenes, con más de la mitad mostrando personas con ropa mínima. Es crucial destacar que muchas de estas imágenes parecían incluir a niños.

La oficina de Bonta tiene ahora la tarea de determinar si y cómo xAI violó la ley de California. La investigación examinará las políticas de moderación de contenido de la empresa, las salvaguardas técnicas y la respuesta a los informes de abuso.

Respuesta del gobernador Newsom

El gobernador Gavin Newsom sumó su considerable voz al creciente coro de preocupación, pidiendo públicamente al fiscal general que investigara a xAI. En una declaración de fuertes palabras, Newsom condenó el papel de la plataforma en el comportamiento depredador.

La decisión de xAI de crear y alojar un terreno de cría para que los depredadores difundan "deepfakes" sexualmente explícitos no consentidos, incluidas imágenes que desnudan digitalmente a niños, es vil.

La intervención del gobernador subraya la seriedad con la que los funcionarios de California ven la amenaza que representa la generación de imágenes de IA no regulada. Su declaración destacó específicamente el papel presunto de la plataforma en facilitar la creación de contenido que desnuda digitalmente a niños, una forma particularmente grave de abuso.

La respuesta coordinada de la oficina del Gobernador y del Fiscal General señala que California está preparada para tomar medidas agresivas contra las empresas de IA cuyos productos permiten la creación de contenido dañino.

Presión regulatoria internacional

California no actúa de forma aislada. La investigación sobre xAI se produce en medio de una ola global de acciones regulatorias contra la empresa. El regulador del Reino Unido, Ofcom, ha abierto su propia investigación oficial sobre las operaciones de Grok.

Los funcionarios de la Unión Europea también han confirmado que están examinando el problema, lo que sugiere que xAI podría enfrentar una acción regulatoria coordinada en múltiples jurisdicciones. El alcance del problema parece extenderse mucho más allá de las fronteras de California.

Algunas naciones ya han pasado de la investigación a la prohibición directa. Tanto Malasia como Indonesia han tomado la drástica medida de bloquear completamente a Grok, citando la incapacidad de la plataforma para prevenir la generación de contenido ilegal y dañino.

• Ofcom del Reino Unido abrió una investigación oficial
• Funcionarios de la UE examinan el problema
• Maliasia bloqueó completamente a Grok
• Indonesia también implementó bloqueos

Respuesta de xAI y Musk

La respuesta de la empresa a las críticas crecientes ha sido notablemente desafiante. Cuando se le pidió comentar sobre la investigación de California, xAI respondió con un correo electrónico automatizado que decía simplemente: "Los medios tradicionales mienten".

Elon Musk, quien dirige xAI, ofreció una posición más matizada pero aún despectiva. Afirmó que "no tenía conocimiento de imágenes de menores desnudos generadas por Grok". Esta declaración notablemente no aborda directamente la acusación específica del fiscal general de que Grok se está utilizando para alterar imágenes de niños para representarlos con ropa mínima y situaciones sexuales.

Musk mantuvo que el principio operativo de Grok es obedecer las leyes y que la empresa trabaja para abordar casos de "piratería adversarial de las indicaciones de Grok". Sin embargo, la empresa solo ha implementado medidas limitadas, como límites de tasa en la generación de imágenes, en lugar de suspender la función por completo.

Qué sigue

La investigación de California sobre xAI representa un caso de prueba crítico para la regulación de la IA en los Estados Unidos. El resultado probablemente establecerá precedentes sobre cómo las autoridades equilibran la innovación contra la prevención del daño.

Las preguntas clave siguen sin respuesta sobre las salvaguardas internas de xAI y si la empresa tomó medidas adecuadas para prevenir el abuso antes de que intervinieran los reguladores. La investigación examinará si la respuesta de la empresa fue suficiente o simplemente reactiva a la presión pública.

A medida que los reguladores internacionales coordinan sus esfuerzos, el caso Grok puede convertirse en un momento decisivo para la gobernanza de la IA. Los hallazgos de la investigación podrían influir en la futura legislación y establecer estándares de aplicación para las plataformas de IA en todo el mundo.