Embora endurecida por anos de ativismo na Internet, Caitlin Roper ficou traumatizada pelas ameaças online que recebeu este ano.
Lá estava a foto dela mesma pendurada em um laço, morta. E outro dele mesmo queima e grita.
As postagens fizeram parte de uma onda de críticas dirigida a Roper e seus colegas do Collective Shout, um grupo ativista australiano, no X e em outras plataformas de mídia social. Algumas delas, incluindo imagens de mulheres a serem esfoladas, decapitadas ou colocadas num picador de madeira, foram aparentemente possíveis – e receberam um realismo visceral – pela inteligência artificial generativa. Em alguns dos vídeos, Roper usou um vestido floral azul que ela possui.
“São esses pequenos detalhes estranhos que fazem com que tudo pareça mais real e, de alguma forma, um tipo diferente de violação”, disse ela. “Essas coisas podem ir da fantasia para algo mais do que fantasia.”
A IA já está a levantar preocupações sobre a sua capacidade de imitar vozes reais ao serviço da fraude ou de produzir pornografia falsa sem a permissão do sujeito. Agora, a tecnologia também está a ser utilizada para ameaças violentas – para as fazer maximizar o medo, tornando-as muito mais pessoais, mais convincentes e mais fáceis de concretizar.
“Duas coisas sempre acontecerão quando uma tecnologia como essa se desenvolver: encontraremos maneiras inteligentes, criativas e emocionantes de usá-la e encontraremos maneiras horríveis e horríveis de abusar dela”, disse Hany Farid, professor de ciência da computação na Universidade da Califórnia, Berkeley. “O que é frustrante é que isso não é uma surpresa.”
Ameaças geradas digitalmente são possíveis há pelo menos alguns anos. Um juiz da Flórida recebeu um vídeo em 2023, provavelmente feito usando uma ferramenta de personalização de personagens do videogame Grand Theft Auto 5, que apresentava um avatar que parecia e andava como se tivesse sido hackeado e morto a tiros.
Mas as imagens de ameaças estão se tornando rapidamente mais fáceis de criar e mais convincentes. Uma página do YouTube tinha mais de 40 vídeos realistas – provavelmente feitos com IA, de acordo com especialistas que analisaram o canal – cada um mostrando uma mulher sendo baleada. (O YouTube, depois de ser contatado pelo The New York Times, disse que havia encerrado o canal por “múltiplas violações” de suas diretrizes.) Um vídeo profundamente falso de um estudante carregando uma arma provocou o bloqueio de uma escola secundária nesta primavera. Em julho, um advogado de Minneapolis disse que o chatbot Grok da xAI forneceu a um usuário anônimo da mídia social instruções detalhadas sobre como invadir sua casa, agredi-lo sexualmente e se livrar de seu corpo.
Até recentemente, a inteligência artificial só conseguia replicar pessoas reais se estas tivessem uma enorme presença online, como estrelas de cinema com pilhas de fotos disponíveis publicamente. Agora, basta uma única foto de perfil, disse Farid, cofundador do GetReal Security, um serviço que identifica conteúdo digital malicioso. (Roper disse que usou o vestido floral azul em uma foto publicada há alguns anos em um jornal australiano.)
O mesmo vale para vozes – o que antes levava horas de dados de amostra para clonar agora leva menos de um minuto.
“A preocupação é que quase qualquer pessoa sem habilidades, mas com motivação ou falta de escrúpulos, possa facilmente usar essas ferramentas para causar danos”, disse Jane Bambauer, professora que leciona IA e direito na Universidade da Flórida.
As preocupações sobre ameaças e extorsão assistidas por IA intensificaram-se com a introdução em setembro do Sora, um aplicativo de texto para vídeo da OpenAI. O aplicativo, que permite aos usuários fazer upload de imagens de si mesmos para serem integradas em cenas hiper-realistas, rapidamente retratou pessoas reais em situações aterrorizantes.
O Times testou Sora e produziu vídeos que pareciam mostrar um homem armado em uma sala de aula ensanguentada e um homem encapuzado perseguindo uma jovem. Grok também adicionou facilmente um ferimento de bala com sangue à foto de uma pessoa real.
“Do ponto de vista da identidade, todos são vulneráveis”, disse Farid.
Um porta-voz da OpenAI disse que a empresa contava com várias defesas, incluindo grades de proteção para bloquear a criação de conteúdo inseguro, experimentos para descobrir fraquezas anteriormente desconhecidas e sistemas automatizados de moderação de conteúdo. (O Times processou a OpenAI em 2023, alegando violação de direitos autorais para conteúdo de notícias relacionado a sistemas de IA, uma alegação que a OpenAI negou.)
No entanto, especialistas em segurança de IA disseram que as empresas não fizeram o suficiente. Alice Marwick, diretora de pesquisa da Data & Society, uma organização sem fins lucrativos, descreveu a maioria das grades de proteção como “mais parecidas com um guarda de trânsito preguiçoso do que com uma barreira fixa; você pode obter um modelo para ignorá-las e contorná-las”.
Roper disse que a onda de abusos online que começou neste verão – incluindo centenas de postagens de assédio enviadas especificamente para ela – estava ligada ao seu trabalho em uma campanha para encerrar videogames violentos que glorificam o estupro, o incesto e a tortura sexual. No X, onde ocorreu a maior parte dos abusos, disse ela, algumas fotos e contas de assédio foram removidas. Mas a empresa também lhe disse repetidamente que outras postagens retratando sua morte violenta não violavam os termos de serviço da plataforma. Na verdade, X certa vez incluiu um de seus assediadores em uma lista de contas recomendadas para ela seguir.
Alguns dos assediadores também alegaram ter usado Grok não apenas para criar imagens, mas também para pesquisar como encontrar as mulheres em casa e nos cafés locais.
Roper se cansou e decidiu postar alguns exemplos. Logo depois, de acordo com as capturas de tela, X disse que ela violou suas políticas de segurança contra sangue e bloqueou temporariamente sua conta.
Nem X nem xAI, empresa proprietária da Grok, responderam aos pedidos de comentários.
A IA também torna outros tipos de ameaças mais convincentes – por exemplo, o swatting, a prática de fazer chamadas de emergência falsas para atrair uma grande resposta da polícia e do pessoal de emergência. A IA “intensificou enormemente a escala, a precisão e o anonimato” de tais ataques, afirmou neste verão a Associação Nacional de Procuradores-Gerais. Em menor escala, uma série de vídeos gerados por IA mostrando supostas invasões de casas fazem com que moradores chamem a polícia em todo o país.
Agora, os mata-mata podem compilar relatórios falsos convincentes clonando vozes e manipulando imagens. Um serial killer usou tiros simulados para sugerir que o atirador estava no estacionamento de uma escola secundária em Washington. O campus ficou fechado por 20 minutos; policiais e agentes federais apareceram.
A IA já estava complicando os esforços das escolas para proteger os alunos, levantando preocupações sobre imagens sexuais pessoais ou rumores espalhados através de vídeos falsos, disse Brian Asmus, um ex-chefe de polícia que trabalhava como diretor sênior de segurança e proteção do distrito escolar quando o mata-mata acionou. Agora, a tecnologia acrescenta um desafio extra à segurança, tornando mais difícil distinguir alarmes falsos de chamadas de emergência reais.
“Como a aplicação da lei responde a algo que não é real?” Asmus perguntou. “Acho que ainda não superamos isso.”
