O que está acontecendo: Isso é muito terrível. As pessoas estão procurando vídeos gerados por IA no TikTok e no X. (o aplicativo que todos ainda chamamos de Twitter) que mostra mulheres e meninas sendo estranguladas.
- Isto não é um desenho animado. Parece muito realista. Os clipes são curtos, de cerca de 10 segundos, têm títulos sinistros como “Líder de torcida adolescente estrangulada” e mostram uma “mulher” composta chorando e se contorcendo.
- Os investigadores observam que muitos desses vídeos trazem marcas d’água do Sora 2, o novo gerador de vídeo da OpenAI que foi lançado ao público em 30 de setembro. Alguns dos uploads mais recentes não possuem marca d’água. Este é um fenômeno ainda mais assustador. Isso significa que as pessoas estão descobrindo como remover marcas d’água ou usando outras ferramentas de IA para criar esses itens.
- A conta postando isso também é assustadora. Embora ambos tenham começado a postar clipes de TV reais em outubro, primeiro e depois… Parece haver uma mudança em direção à violência gerada pela IA.
Por que isso é importante: Esta é uma enorme bandeira vermelha. Isto mostra que as plataformas de IA e os sites de redes sociais não estão a conseguir capturar “conteúdo gráfico ou violento”, apesar das suas próprias regras o proibirem explicitamente.
- O TikTok excluiu a conta depois que a mídia começou a fazer perguntas, mas X supostamente não a excluiu, mesmo depois que os usuários denunciaram.
- Também mostra o perigo mais sombrio dessas novas ferramentas de IA. Isto significa que qualquer pessoa pode facilmente criar vídeos de violência surreal, especialmente contra mulheres e crianças.
- Isto não é apenas uma “violação de regra”. Isto é completamente antiético e levanta grandes questões jurídicas sobre o uso de IA para criar e compartilhar abusos.
Por que eu deveria me importar: Agora que qualquer um pode fazer algo assim, ele pode se espalhar como um incêndio, dessensibilizando as pessoas para o quão horrível é realmente esse tipo de violência.
- É importante ter em mente que mesmo que estes vídeos sejam “falsos”, ainda podem causar danos psicológicos reais e promover uma cultura de violência.
- Este é apenas mais um enorme alerta de que precisamos desesperadamente de proteções mais fortes. As empresas que constroem estas ferramentas de IA e as plataformas que permitem a sua proliferação devem ser responsabilizadas.
O que vem a seguir: O governo do Reino Unido anunciou que irá proibir todas as representações pornográficas de estrangulamento, um sinal de que os países estão a começar a acordar.
- Enquanto isso, OpenAI, TikTok e
- Os especialistas alertam que, se não agirmos rapidamente, este será apenas o começo de uma nova onda repugnante de abuso online baseado em IA.
