O processo de Nova Jersey mostra como é difícil combater a pornografia deepfake.

Por mais de dois anos, um aplicativo chamado ClothOff tem aterrorizado mulheres jovens online e tem sido incrivelmente difícil de parar. O aplicativo foi removido das duas principais lojas de aplicativos e banido da maioria das plataformas sociais, mas ainda está disponível na web e por meio de um bot do Telegram. Em outubro passado, uma clínica da Faculdade de Direito de Yale entrou com uma ação judicial visando encerrar totalmente o aplicativo, forçando seus proprietários a excluir todas as imagens e interromper totalmente as operações. Mas simplesmente encontrar o acusado revelou-se difícil.

O professor John Langford, co-advogado no caso, explica: “Esta empresa está constituída nas Ilhas Virgens Britânicas, mas acreditamos que é gerida por irmãos e irmãs na Bielorrússia. Pode fazer parte de uma rede global mais ampla.”

É uma lição amarga da recente enxurrada de pornografia não consensual gerada pela xAI de Elon Musk, que inclui muitas vítimas menores de idade. O material de abuso sexual infantil é um dos conteúdos legalmente mais prejudiciais da Internet. É ilegal criar, transmitir ou armazenar e é verificado regularmente por todos os principais serviços em nuvem. No entanto, apesar das fortes proibições legais, ainda há pouco a ver com geradores de imagens como o ClothOff, como mostra o exemplo de Langford. Usuários individuais podem ser processados, mas plataformas como ClothOff e Grok são muito mais difíceis de policiar, deixando as vítimas com poucas opções na esperança de encontrar justiça no tribunal.

As reclamações da clínica incluem: disponível on-linePinta imagens incríveis. O demandante é um estudante anônimo do ensino médio em Nova Jersey, cujo colega usou o ClothOff para alterar sua foto no Instagram. Ela tinha 14 anos quando a foto original do Instagram foi tirada. Isso significa que a versão editada por IA é legalmente classificada como uma imagem de abuso infantil. No entanto, apesar das imagens alteradas serem claramente ilegais, as autoridades locais recusaram-se a processar o caso, alegando a dificuldade de obter provas do dispositivo do suspeito.

“Nem a escola nem as agências de aplicação da lei jamais estabeleceram até que ponto os CSAMs de Jane Doe e de outras meninas foram distribuídos”, afirma a denúncia.

No entanto, o processo judicial avançou lentamente. A denúncia foi apresentada em outubro e, nos meses seguintes, Langford e seus associados estiveram em processo de notificação aos réus. Esta é uma tarefa difícil dada a natureza global da empresa. Uma vez prestados os serviços, a clínica pode comparecer em tribunal e eventualmente obter um veredicto, mas, entretanto, o sistema jurídico tem oferecido pouco conforto às vítimas da ClothOff.

O caso Grok pode parecer um problema mais simples de resolver. O xAI de Elon Musk não está se escondendo e, afinal, há muito dinheiro nele para os advogados que podem ganhar o caso. No entanto, como o Grok é uma ferramenta de uso geral, é muito mais difícil responsabilizá-lo em tribunal.

“ClothOff é especificamente projetado e comercializado como um gerador de imagens e vídeos pornográficos deepfake”, disse Langford. “Se você processar um sistema genérico que permite aos usuários consultar todos os tipos de coisas, as coisas ficam muito mais complicadas.”

Várias leis nos Estados Unidos já proibiram a pornografia deepfake. Método de derrubar. Mas embora usuários específicos estejam claramente violando essas leis, é muito mais difícil responsabilizar uma plataforma inteira. A lei existente exige prova clara da intenção de causar dano. Isto significa que a xAI fornece provas de que sabia que as suas ferramentas seriam utilizadas para produzir pornografia não consensual. Na ausência de tais provas, os direitos fundamentais da primeira emenda do xAI proporcionariam proteção legal significativa.

“É muito claro que o material de abuso sexual infantil não é um discurso protegido pela Primeira Emenda”, diz Langford. “Então, quando você projeta um sistema para gerar esse tipo de conteúdo, fica claro que você está operando fora do que é protegido pela Primeira Emenda. Mas se for um sistema geral onde os usuários podem consultar todos os tipos de coisas, não é tão claro.”

A maneira mais fácil de superar esses problemas é mostrar que o xAI ignorou deliberadamente o problema. Dado que é uma possibilidade real último relatório Musk instruiu os funcionários a afrouxar as medidas de segurança de Grock. Mas mesmo assim, assumir este caso seria muito mais perigoso.

“Pessoas sensatas diriam que sabíamos que isto era um problema há anos”, diz Langford. “Como não ter controles mais rígidos para evitar que isso aconteça? Ou é uma espécie de imprudência ou de conhecimento, mas é apenas um caso mais complicado”.

Estas questões da Primeira Emenda são a razão pela qual a maior reacção negativa da xAI surgiu em sistemas judiciais onde não existem protecções legais fortes para a liberdade de expressão. A Indonésia e a Malásia tomaram medidas para bloquear o acesso ao chatbot Grok, enquanto os reguladores no Reino Unido começou a investigar Isso pode levar a proibições semelhantes. Outras etapas preliminares Foi adotado pela Comissão Europeia, França, Irlanda, Índia e Brasil. Em contraste, os reguladores dos EUA não emitiram uma resposta formal.

É impossível dizer como a investigação será resolvida, mas pelo menos o dilúvio de imagens levantará muitas questões para os reguladores investigarem, e as respostas podem ser complicadas.

“Se você postar, distribuir ou disseminar material de abuso sexual infantil, estará violando esta proibição criminal e poderá estar sujeito a responsabilidade”, diz Langford. “As questões difíceis são: o que X sabia, o que X fez ou não fez e o que eles estão fazendo a respeito agora?”