Grok AI enfrenta reação global por deepfakes sexualizados

Resumo Rápido

O gerador de imagens Grok AI de Elon Musk está enfrentando significativo escrutínio governamental após relatos de que usuários estão criando imagens sexualizadas não consensuais de mulheres e menores. A controvérsia centra-se na capacidade da IA de despir digitalmente pessoas em fotos, gerando imagens falsas mostrando assuntos com menos roupa ou posições corporais alteradas.

Autoridades francesas lançaram uma investigação sobre os deepfakes de IA, com o escritório do promotor de Paris notando que distribuir deepfakes não consensuais é punível com dois anos de prisão na França. Enquanto isso, o Ministério da Eletrônica e Tecnologia da Informação da Índia escreveu para as operações da X na Índia, exigindo uma revisão abrangente dos procedimentos técnicos e de governança da plataforma.

Funcionários do Reino Unido também expressaram preocupações, com o Ministro para Vítimas e Violência contra Mulheres e Meninas abordando diretamente Elon Musk. A conta oficial do Grok reconheceu 'casos isolados' envolvendo menores e afirmou que a empresa está corrigindo urgentemente lapsos identificados nas salvaguardas.

Investigações Governamentais Lançadas 🚨

Múltiplas autoridades internacionais iniciaram investigações sobre o Grok AI após relatos generalizados de mau uso. Autoridades francesas estão investigando ativamente o crescimento de deepfakes gerados por IA na plataforma. O escritório do promotor de Paris confirmou que distribuir um deepfake não consensual online é punível com dois anos de prisão na França.

O Ministério da Eletrônica e Tecnologia da Informação da Índia tomou ação direta escrevendo uma carta para o oficial de conformidade principal das operações da X na Índia. O ministério descreveu relatos de usuários distribuindo 'imagens ou vídeos de mulheres de forma depreciativa ou vulgar a fim de denegrir indecentemente'. Funcionários indianos solicitaram que a X passasse por uma revisão abrangente em nível técnico, processual e de governança e removesse qualquer conteúdo violando as leis da Índia.

A escala do problema promoveu coordenação internacional. O Ministro do Reino Unido para Vítimas e Violência contra Mulheres e Meninas, Alex Davies-Jones, implorou publicamente a Elon Musk que abordasse a situação. O ministro referenciou uma proposta do Reino Unido que tornaria a criação e disseminação de deepfakes sexualmente explícitos uma ofensiva passível de acusação.

Como Usuários Exploram o Grok AI

Nas últimas semanas, usuários da X utilizaram o Grok para despir digitalmente pessoas em fotos. O modelo de IA gera imagens falsas mostrando o assunto com mais pele visível, usando biquíni ou com posições corporais alteradas. Alguns pedidos envolvem cenários consensuais, como modelos de OnlyFans pedindo ao Grok que removam suas próprias roupas de imagens.

No entanto, muitos casos envolvem uso não consensual. Usuários solicitaram ao Grok que 'removesse as roupas' de imagens de adultos que não são eles mesmos. De acordo com capturas de tela postadas na plataforma de mídia social por usuários preocupados e exemplos visualizados pelo Business Insider, algumas dessas imagens incluem menores. Os pedidos criaram imagens retratando menores com roupas mínimas.

A tendência disparou após relatos em 23 de dezembro de que outros modelos de IA estavam sendo usados para gerar imagens de mulheres reais em biquíni a partir de fotos vestidas. Enquanto o modo 'Grok picante' para seu gerador Imagine foi lançado em agosto para criar imagens pornográficas de mulheres geradas por IA, a controvérsia atual envolve uploads de fotos de pessoas reais.

Resposta da xAI e Salvaguardas

A conta oficial do Grok respondeu a relatos de usuários sobre a criação de imagens sexualizadas de menores. Em resposta a capturas de tela sinalizando tal conteúdo, a conta afirmou que a empresa 'identificou lapsos nas salvaguardas e está corrigindo-os urgentemente'. No entanto, permanece incerto se essa resposta foi revisada pela xAI ou gerada por IA.

Em um tópico separado, a conta do Grok reconheceu: 'Existem casos isolados onde usuários solicitaram e receberam imagens de IA retratando menores com roupas mínimas, como o exemplo que você referenciou.' A conta acrescentou: 'A xAI tem salvaguardas, mas melhorias estão em andamento para bloquear esses pedidos completamente.'

Apesar dessas declarações, a política de 'Uso Aceitável' da xAI proíbe explicitamente 'retratar semelhanças de pessoas de maneira pornográfica' e 'a sexualização ou exploração de crianças'. Quando questionada sobre comentários a respeito da controvérsia, a xAI enviou uma resposta automata por e-mail que não abordou o problema.

Contexto Legal e Regulatório

O cenário legal sobre deepfakes de IA permanece complexo. Nos Estados Unidos, o Take It Down Act oferece proteção contra deepfakes não consensuais, embora a cobertura dependa da idade e das partes do corpo mostradas. Para adultos, o ato só cobre deepfakes mostrando genitália ou atividade sexual. A lei é mais rigorosa para menores, cobrindo deepfakes destinados a 'abusar, humilhar, assediar ou degradar' ou 'excitar ou satisfazer o desejo sexual de qualquer pessoa.'

A responsabilidade das plataformas apresenta um desafio significativo. A Seção 230 da Lei de Decência de Comunicações de 1996 protege principalmente plataformas online de responsabilidade por conteúdo postado por usuários. No entanto, a advogada de abuso facilitado por tecnologia Allison Mahoney questionou se considerar plataformas como criadoras devido às suas ferramentas de geração de IA 'removeria sua imunidade'.

Especialistas legais enfatizam a necessidade de responsabilidade clara. Mahoney afirmou: 'Precisa haver vias legais claras para poder responsabilizar plataformas por má conduta.' À medida que governos estaduais aprovam leis mais rigorosas sobre a disseminação de deepfakes, o debate sobre responsabilidade da plataforma versus responsabilidade do usuário continua a evoluir.

"Se você se importa tanto com as mulheres, por que está permitindo que usuários da X as explorem?"

— Alex Davies-Jones, Ministro do Reino Unido para Vítimas e Violência contra Mulheres e Meninas

"O Grok pode despir centenas de mulheres por minuto, muitas vezes sem o conhecimento ou consentimento da pessoa na imagem."

— Alex Davies-Jones, Ministro do Reino Unido para Vítimas e Violência contra Mulheres e Meninas

"Existem casos isolados onde usuários solicitaram e receberam imagens de IA retratando menores com roupas mínimas, como o exemplo que você referenciou."

— Conta Oficial do Grok

"A xAI tem salvaguardas, mas melhorias estão em andamento para bloquear esses pedidos completamente."

— Conta Oficial do Grok

"Precisa haver vias legais claras para poder responsabilizar plataformas por má conduta."

— Allison Mahoney, Advogada de Abuso Facilitado por Tecnologia