Idec aponta que essas práticas violam diretamente diversas legislações brasileiras como o ECA e o Marco Civil da Internet
O Instituto de Defesa de Consumidores (Idec) formalizou, nesta segunda-feira (12), um pedido ao governo federal para que a ferramenta de inteligência artificial Grok seja suspensa imediatamente no Brasil. A solicitação foi motivada por denúncias de violações graves de direitos, envolvendo a criação e a disseminação em larga escala de imagens íntimas falsas de mulheres e crianças sem qualquer consentimento.
Segundo o instituto, a tecnologia desenvolvida pela xAI, empresa de Elon Musk, vem sendo utilizada de forma recorrente para gerar conteúdos sexualizados não consentidos, o que caracteriza um defeito grave na prestação do serviço. Para o Idec, a ausência de salvaguardas eficazes permite que a plataforma produza danos concretos e irreparáveis às vítimas, ferindo direitos fundamentais e comprometendo a segurança digital dos usuários.
Um dos pontos centrais destacados pelo Idec é a escala com que o Grok tem sido usado para a produção de pornografia não consensual, inclusive envolvendo crianças e adolescentes. Diferentemente de outras ferramentas de inteligência artificial disponíveis no mercado, a tecnologia apresenta falhas severas nos mecanismos de bloqueio e prevenção desse tipo de uso, permitindo que imagens comuns — muitas vezes retiradas de redes sociais — sejam rapidamente transformadas em material pornográfico altamente realista.
Estima-se que milhares de imagens sexualmente sugestivas sejam geradas por hora por meio dessa funcionalidade dentro do X, rede social à qual o Grok está integrado. Para o instituto, essa permissividade não se trata de um uso isolado ou residual, mas de uma característica estrutural do funcionamento da ferramenta, que opera sem filtros eficazes para impedir a sexualização de mulheres e a exposição de menores de idade.
O pedido de suspensão foi encaminhado ao Comitê Intersetorial para a Proteção dos Direitos da Criança e do Adolescente no Ambiente Digital, instância composta por diversos órgãos do governo, entre eles o Ministério da Justiça e a Secretaria de Comunicação Social da Presidência da República. No ofício, o Idec sustenta que a inovação tecnológica não pode existir dissociada de responsabilidade jurídica e ética e que, quando uma empresa falha em garantir proteções adequadas, a interrupção temporária do serviço torna-se uma exigência legal.
O instituto também ressalta que outras plataformas de inteligência artificial mantêm ao menos camadas mínimas de restrição para coibir a criação de pornografia não consensual e conteúdos envolvendo crianças. No caso do Grok, essas barreiras se mostram insuficientes ou inexistentes, o que amplia o risco de abusos sistemáticos e dificulta a responsabilização dos usuários, além de contrariar padrões básicos de segurança digital.
O Idec aponta que essas práticas violam diretamente diversas legislações brasileiras em vigor, como o Código de Defesa do Consumidor (CDC), a Lei Geral de Proteção de Dados (LGPD) e o Marco Civil da Internet. As ações também afrontam o Estatuto da Criança e do Adolescente (ECA) e o recém-aprovado ECA Digital, uma vez que menores de idade figuram entre os principais alvos das manipulações maliciosas realizadas por usuários da plataforma.
A preocupação não se restringe ao Brasil. Países como Indonésia e Malásia já adotaram bloqueios temporários ao Grok após episódios semelhantes envolvendo nudez não consensual. O governo indonésio classificou a prática de deepfakes como uma violação séria da dignidade humana. Autoridades da União Europeia, do Reino Unido, da França e da Índia também iniciaram investigações ou exigiram a retirada imediata de conteúdos gerados pela ferramenta.
A postura da rede social X tem sido alvo de críticas de especialistas e órgãos reguladores. Em um primeiro momento, a empresa restringiu a geração de imagens a usuários assinantes, medida que, segundo autoridades, apenas transformou o abuso em um “serviço premium”. Questionada sobre o problema, a xAI chegou a enviar respostas automáticas com ataques à imprensa tradicional e afirmou posteriormente que usuários responsáveis por conteúdos ilegais sofreriam consequências.
No Brasil, a Polícia Civil do Rio de Janeiro também passou a apurar o caso e solicitou esclarecimentos ao X sobre o uso da inteligência artificial para fins abusivos. A investigação busca compreender como a plataforma permite que imagens públicas de usuárias sejam transformadas em conteúdo sexual dezenas de vezes em poucos minutos. Para o Idec, a suspensão do Grok é, neste momento, o único caminho viável até que mecanismos robustos de segurança, consentimento e prevenção de abusos sejam implementados de forma transparente.
