Gaatha Sarvaiya deseja postar nas redes sociais e compartilhar seu trabalho online. Formada em Direito na Índia, com pouco mais de 20 anos, ela está nos primeiros estágios de sua carreira tentando construir um perfil público. O problema é que, com o aumento dos deepfakes alimentados por IA, não há mais garantia de que as fotos que ela publica não serão distorcidas em algo ofensivo ou grotesco.
“Imediatamente surge o pensamento: ‘OK, talvez não seja seguro. Talvez as pessoas possam tirar nossas fotos e simplesmente fazer coisas com elas”, diz Sarvaiya, que mora em Mumbai.
“O efeito inibidor é verdadeiro”, afirma Rohini Lakshané, investigadora sobre direitos de género e política digital baseada em Mysuru, que também evita publicar fotografias suas online. “O fato de que eles podem ser abusados tão facilmente me torna ainda mais cauteloso.”
Nos últimos anos, a Índia tornou-se um dos mais importantes campos de testes para ferramentas de IA. Isso é o segundo maior mercado do mundo para OpenAIcom a tecnologia geralmente aceito em todas as profissões.
Mas um o relatório foi divulgado na segunda-feira que se baseia em dados recolhidos pela Fundação Rati, uma instituição de caridade que gere uma linha de apoio nacional para vítimas de abuso online, mostra que a crescente adopção da IA criou uma nova forma poderosa de assediar as mulheres.
“Tornou-se evidente nos últimos três anos que uma grande maioria do conteúdo gerado pela IA está a ser usado para atingir mulheres e minorias de género”, afirmou o relatório, da autoria da Fundação Rati e Blabuma empresa que trabalha para reduzir a desinformação nas redes sociais da Índia.
Em particular, o relatório constatou um aumento no uso de ferramentas de IA para criar imagens ou vídeos de mulheres manipulados digitalmente – sejam imagens nuas ou imagens que podem ser culturalmente apropriadas nos EUA, mas que são estigmatizantes em muitas comunidades indianas, tais como demonstrações públicas de afeto.
Cerca de 10% das centenas de casos relatados à linha de apoio agora incluem essas imagens, mostrou o relatório. “A IA torna muito mais fácil criar conteúdo que pareça realista”, afirma.
Houve casos de destaque de mulheres indianas na esfera pública que tiveram suas imagens manipuladas com ferramentas de IA: por exemplo Cantora de Bollywood Asha Bhoslecuja imagem e voz foram clonadas usando IA e divulgadas no YouTube. Rana Ayyub, uma jornalista conhecida por investigar a corrupção política e policial, foi alvo de uma campanha de doxing no ano passado que levou a imagens sexualizadas deepfake dela aparecendo nas redes sociais.
Isto levou a uma conversa em toda a comunidade, onde algumas pessoas, como Bhosle, lutou com sucesso pelos direitos legais sobre sua voz ou imagem. Menos discutido, porém, é o efeito que tais casos têm sobre as mulheres comuns que, como Sarvaiya, se sentem cada vez mais inseguras em relação à Internet.
“A consequência de enfrentar o assédio online é, na verdade, silenciar-se ou tornar-se menos ativo online”, disse Tarunima Prabhakar, cofundadora da Tattle. A sua organização utilizou grupos focais durante dois anos em toda a Índia para compreender como o abuso digital afetou a sociedade.
“A sensação que identificamos é a fadiga”, diz ela. “E a consequência desse cansaço é também que você simplesmente se retira desses espaços online.”
Nos últimos anos, Sarvaiya e seus amigos acompanharam casos de alto perfil de abuso online profundamente falso, como o de Ayyub ou do ator de Bollywood Rashmika Mandanna. “É um pouco assustador para as mulheres aqui”, diz ela.
Agora Sarvaiya hesita em postar qualquer coisa nas redes sociais e tornou seu Instagram privado. Mesmo isso, ela teme, não será suficiente para protegê-la: às vezes as mulheres são fotografadas em espaços públicos como o metrô e as ruas. as imagens podem aparecer online mais tarde.
“Não é tão comum quanto você imagina, mas você não conhece sua sorte, não é?” ela diz. “Amigos de amigos estão sendo chantageados – literalmente pela internet.”
Lakshané diz que agora muitas vezes pede para não ser fotografada em eventos, mesmo naqueles em que é palestrante. Mas, apesar de tomar precauções, ela está preparada para a possibilidade de um dia surgir um vídeo ou imagem deepfake dela. Nos aplicativos, ela transformou sua foto de perfil em uma ilustração de si mesma, em vez de uma foto.
“Há medo do uso indevido de imagens, especialmente para mulheres que têm presença pública, que têm voz online, que assumem posições políticas”, diz ela.
depois da campanha do boletim informativo
O relatório de Rati descreve como ferramentas de IA, como aplicativos de “nudificação” ou nudificação – que podem remover roupas de imagens – tornaram muito mais comuns casos de abuso antes vistos como extremos. Num caso descrito, uma mulher contactou a linha de apoio depois de uma fotografia que ela apresentou com um pedido de empréstimo ter sido usada para lhe extorquir dinheiro.
“Quando ela se recusou a prosseguir com os pagamentos, sua fotografia enviada foi alterada digitalmente usando um aplicativo nudify e sobreposta a uma imagem pornográfica”, disse o relatório.
Essa fotografia, com o seu número de telefone anexado, foi divulgada no WhatsApp, resultando numa “enxurrada de chamadas e mensagens sexualmente explícitas de indivíduos desconhecidos”. A mulher disse à linha de apoio de Rati que se sentia “envergonhada e socialmente marcada, como se estivesse ‘envolvida em algo sujo’”.
Na Índia, como na maior parte do mundo, os deepfakes operam em uma área legal cinzenta – nenhuma lei especial os reconhece como formas distintas de dano, embora o relatório de Rati descreva várias leis indianas que podem ser aplicadas ao assédio e às ameaças online, segundo as quais as mulheres podem denunciar deepfakes de IA.
“Mas esse processo é muito longo”, disse Sarvaiya, que argumentou que o sistema jurídico da Índia continua mal equipado para lidar com deepfakes de IA. “E há muita burocracia para chegar a esse ponto e obter justiça pelo que foi feito.”
Parte da responsabilidade recai sobre as plataformas em que essas imagens são compartilhadas – geralmente YouTube, Meta, X, Instagram e WhatsApp. As agências indianas de aplicação da lei descrevem o processo para fazer com que essas empresas removam conteúdo ofensivo como “opaco, que consome muitos recursos, inconsistente e muitas vezes ineficaz”, de acordo com um relatório. relatório divulgado terça-feira pela Equality Nowque lutam pelos direitos das mulheres.
Enquanto Maçã e Meta intensificou recentemente para limitar a propagação de aplicações de nudificação, o relatório de Rati regista vários casos em que estas plataformas responderam inadequadamente ao abuso online.
O WhatsApp finalmente agiu no caso de extorsão, mas sua resposta foi “inadequada”, relatou Rati, já que as fotos de nus já estavam espalhadas pela internet. Noutro caso, em que um criador indiano do Instagram foi assediado por um troll que publicou vídeos deles nus, o Instagram respondeu apenas após “esforço sustentado”, com uma resposta que foi “atrasada e inadequada”.
As vítimas foram muitas vezes ignoradas quando denunciaram assédio a estas plataformas, diz o relatório, o que as levou a contactar a linha de apoio. Além disso, mesmo que uma plataforma removesse uma conta que espalhava conteúdo ofensivo, esse conteúdo frequentemente aparecia em outro lugar, no que Rati chama de “reincidência de conteúdo”.
“Uma das características duradouras do abuso gerado pela IA é a sua tendência para proliferar. É facilmente criado, amplamente partilhado e tende a ressurgir múltiplas vezes”, diz Rati. Abordar esta questão “exigirá muito maior transparência e acesso aos dados das próprias plataformas”.
