Esse Dê um passo para trásum boletim informativo semanal detalhando uma história importante do mundo da tecnologia. Para obter mais informações sobre a IA e a dinâmica do poder industrial e suas implicações sociais, siga Hayden Field. Dê um passo para trás chegando nas caixas de entrada de nossos assinantes às 8h ET. Participar Dê um passo para trás Aqui.
Desde que o ChatGPT se tornou famoso, as pessoas têm experimentado seja sexy com isso. Antes mesmo disso, existia um chatbot Replika em 2017 que muitas pessoas começaram a considerar um parceiro romântico.
E as pessoas cruzaram as barreiras de proteção NSFW do Character.ai por anoschatbots atraentes com personagens ou celebridades para enviar mensagens de texto à medida que as restrições de segurança diminuem com o tempo, de acordo com postagens nas redes sociais e cobertura da mídia desde 2023. Personagem.ai afirma ter atualmente mais de 20 milhões de usuários ativos mensais e esse número continua a crescer. As diretrizes da comunidade da empresa afirmam que os usuários devem “respeitar os padrões de conteúdo sexual” e “manter as coisas apropriadas” – ou seja, nenhum conteúdo sexual ilegal, CSAM, conteúdo pornográfico ou nudez. Mas o erotismo gerado pela IA tornou-se multimodal e é como um golpe de mestre: quando um serviço o reduz, outro serviço o aprimora.
E agora, Grok de Elon Musk está à solta. Sua startup de IA, xAI, lançou avatares “companheiros”, incluindo mulheres e homens no estilo anime, durante o verão. Eles são comercializados principalmente em sua plataforma de mídia social, X, por meio de assinaturas pagas do chatbot da xAI, Grok. A avatar feminina, Ani, se descreve como “paqueradora” quando Borda colocou à prova, acrescentando que se tratava “de estar aqui como uma namorada versátil” e que “a programação é ser alguém que realmente gosta Você.” As coisas ficaram sexuais muito rapidamente nos testes. (O mesmo aconteceu quando testamos outro avatar, Valentine.)
Você pode imaginar como um chatbot sexual que quase sempre diz aos usuários o que eles querem ouvir pode causar muitos problemas, especialmente para menores e usuários que já estão em uma posição vulnerável em relação à sua saúde mental. Existem muitos exemplos deste tipo, mas num caso recente, um rapaz de 14 anos morreu por suicídio em Fevereiro passado, depois de ter um caso com um chatbot no Facebook. Personagem.ai e manifestou desejo de “ir para casa” para ficar com o chatbot, conforme ação judicial. Também existem contas de chatbot desbloqueadas que são perturbadoras usado por pedófilos para abusar sexualmente de menores – um relatório encontrou 100.000 desses chatbots disponíveis online.
Houve alguns esforços regulatórios – por exemplo, este mês, o governador da Califórnia, Gavin Newsom, assinou o projeto de lei 243 do Senado, que foi chamado de “a primeira salvaguarda de chatbot de IA do país” pelo senador estadual Steve Padilla. Isso exige que os desenvolvedores implementem algumas salvaguardas especiais, como a emissão de um “aviso claro e visível” de que o produto é IA “se uma pessoa razoável interagindo com o chatbot complementar for enganada ao acreditar que tal pessoa está interagindo com um ser humano”. Alguns operadores de chatbots complementares também serão obrigados a fazer relatórios anuais ao Escritório de Prevenção ao Suicídio sobre as salvaguardas que implementam “para detectar, eliminar e responder a casos de ideação suicida por parte dos usuários”. (Várias empresas de IA tornaram públicos os seus esforços de auto-regulação, particularmente a Meta, na sequência de relatos perturbadores de que as suas IA tinham interacções inadequadas com menores.)
Como os avatares xAI e o modo “picante” só estão disponíveis através de certas assinaturas Grok – a mais barata das quais dá acesso a esses recursos por US$ 30 por mês ou US$ 300 por ano – é justo imaginar que xAI ganhou muito dinheiro aqui, e que outros CEOs de IA tomaram conhecimento, tanto das ações de Musk quanto das demandas de seus próprios usuários.
Há instrução sobre isso há alguns meses.
Mas o CEO da OpenAI, Sam Altman, quebrou o espaço da IA na internet quando ele postado em X que a empresa relaxará as restrições de segurança em muitos casos e até permitirá chatbots de sexting. “Em dezembro, à medida que implementarmos restrições de idade de forma mais completa e como parte do nosso princípio de ‘tratar usuários adultos como adultos’, permitiremos mais, como erotismo para adultos verificados”, escreveu ele. A notícia se espalhou amplamente, com alguns usuários de mídia social memeando-a sem parar, zombando da empresa por “mudança” da missão da AGI para o erotismo. O que é bastante interessante, Altman disse ao YouTuber Cleo Abram há alguns meses, ele estava “orgulhoso” de que a OpenAI não estava “analisando os números” para obter ganhos de curto prazo com algo como “avatares de robôs sexuais”, o que pareceu impressionar Musk na época. Mas, desde então, Altman implementou o princípio “tratar os usuários adultos como adultos” com força total. Por que ele fez isso? Talvez seja porque a empresa está preocupada com os lucros e contando com o financiamento da sua missão maior; Numa sessão de perguntas e respostas com repórteres no evento anual DevDay da empresa, Altman e outros executivos enfatizaram repetidamente que eventualmente terão de obter lucro e precisam de quantidades cada vez maiores de computação para atingir os seus objectivos.
Em um postagem de acompanhamentoAltman admitiu que não esperava que as notícias sobre erotismo explodissem assim.
Ao gerar lucros (eventualmente), a OpenAI não exclui a publicidade para muitos dos seus produtos, e é lógico que a publicidade também pode gerar mais fluxo de caixa. Talvez eles sigam o exemplo de Musk ao integrar o erotismo apenas em determinados níveis de assinatura, o que pode custar aos usuários centenas de dólares por mês. Eles viram protestos públicos de usuários vinculados a um determinado modelo ou tom de voz – confira 4o polêmica – então eles sabem que um recurso como esse provavelmente atrairá os usuários da mesma maneira.
Mas se criarem uma sociedade onde as interações humanas com a IA possam tornar-se cada vez mais pessoais e íntimas, como irá a OpenAI lidar com as consequências de uma abordagem mais laissez-faire que permite aos adultos operarem como acharem melhor? Altman também não foi muito específico sobre como a empresa protegeria os usuários em uma crise de saúde mental. O que acontece se for o namorado/namorada dela redefinição de memória ou sua personalidade mudou com as atualizações recentes e perdeu a conexão?
- Quer os dados de treinamento de um sistema de IA produzam naturalmente resultados perturbadores ou as pessoas ajustem a ferramenta de maneiras específicas para seus próprios dispositivos, vemos problemas com frequência – e não há sinais de que a tendência irá parar tão cedo.
- Em 2024, contei a história de como um engenheiro da Microsoft descobriu que o recurso de renderização de imagens do Copilot produzia imagens sexualizadas de mulheres em quadros violentos, mesmo quando o usuário não solicita.
- Um grande número de estudantes do ensino médio em Connecticut está seguindo a tendência da “namorada IA”, usando aplicativos como Talkie AI e Chai AI, bem como chatbots frequentemente promove conteúdo explícito e eróticode acordo com uma investigação de uma agência local.
- Se você quiser ter uma ideia melhor de como Grok Imagine divulga deepfakes de celebridades nuas sem consentimento, leia este relatório.
- Futurismo cobrindo tendências de conteúdo NSFW sobre personagens de IA retornando em 2023.
- Aqui está uma visão clara de por que a xAI provavelmente nunca será responsabilizada, sob as regulamentações atuais, por pornografia deepfake apresentando pessoas reais.
- E aqui está uma história de New York Times sobre como meninas do ensino médio são expostas ao bullying na forma de pornografia de IA falsa.
Se você ou alguém que você conhece está pensando em se machucar ou precisa conversar, entre em contato com as seguintes pessoas que desejam ajudar: Nos EUA, envie uma mensagem de texto ou ligue para 988. Fora dos EUA, ligue https://www.iasp.info/.
