Esse Dê um passo para trásum boletim informativo semanal detalhando uma história importante do mundo da tecnologia. Para saber mais sobre desenvolvimentos distópicos em IA, siga Campo de Hayden. Dê um passo para trás chegando nas caixas de entrada de nossos assinantes às 8h ET. Participar Dê um passo para trás Aqui.
Você poderia dizer que tudo começou com o AI FOMO de Elon Musk – e sua luta contra o “despertar”. Quando sua empresa de IA, xAI, anunciou que Grok estava assinando Novembro de 2023é descrito como um chatbot com uma “natureza rebelde” e a capacidade de “responder a questões candentes que a maioria dos outros sistemas de IA se recusa a responder”. O chatbot estreou após vários meses de desenvolvimento e apenas dois meses de treinamento, e o anúncio destaca que Grok terá conhecimento em tempo real da plataforma X.
Mas existem riscos inerentes aos chatbots que executam a Internet e o X, e pode-se argumentar que a xAI pode não estar tomando as medidas necessárias para resolvê-los. Desde que Musk assumiu o Twitter em 2022 e o renomeou como X, ele demitiu 30% de sua equipe global de confiança e segurança e reduziu o número de engenheiros de segurança em 80%, disse o órgão de vigilância de segurança online da Austrália. janeiro passado. Quanto ao xAI, quando Grok foi lançado, não estava claro se o xAI tinha uma equipe de segurança instalada. Quando o Grok 4 foi lançado em julho, a empresa demorou mais de um mês para lançar um cartão de modelo – uma prática geralmente vista como padrão da indústria, detalhando testes de segurança e possíveis preocupações. Duas semanas após o lançamento do Grok 4, um funcionário da xAI escreveu em X que ele estava contratando para uma equipe de segurança xAI e eles “realmente precisam de engenheiros/pesquisadores fortes”. Em resposta a um comentarista, que perguntou: “xAI faz segurança?” funcionários originais disse xAI está “trabalhando nisso”.
A jornalista Kat Tenbarge escreve sobre como ela começou a ver deepfakes sexualmente explícitos se tornou viral no Grok Junho de 2023. As imagens claramente não foram criadas por Grok – ele nem sequer tem capacidade para produzir imagens até agosto de 2024 – mas a resposta de X às preocupações variou. Até janeiro passadoGrok gerou polêmica sobre imagens geradas por IA. E em agosto passado, o modo de criação de vídeo “picante” de Grok criou um deepfake nu não solicitado de Taylor Swift. Especialistas disseram Borda desde setembro, quando a empresa adotou uma abordagem muito rigorosa em relação à segurança e às proteções – e é difícil o suficiente manter um sistema de IA no caminho certo se você o projetou com a segurança em mente desde o início, e muito menos se você voltar a corrigir problemas que já existem. Agora, parece que essa abordagem explodiu na cara do xAI.
Grok passou as últimas semanas espalhando deepfakes não consensuais e sexualizados de adultos e menores em toda a plataforma, conforme promovido. Capturas de tela mostram Grok atendendo aos pedidos dos usuários para trocar as roupas femininas por roupas íntimas e fazê-las abrir as pernas, além de colocar crianças pequenas de biquíni. E há relatos ainda mais aterrorizantes. As coisas ficaram tão ruins que durante uma análise de 24 horas das imagens que Grok criou em uma estimativa medir o chatbot produz cerca de 6.700 imagens sexualmente sugestivas ou “nudificadoras” por hora. Uma razão para esse ataque é um recurso recente adicionado ao Grok, que permite aos usuários usar um botão “editar” para solicitar ao chatbot que altere uma imagem, sem o consentimento do criador original.
Desde então, vimos vários países investigarem o problema ou ameaçarem banir completamente o X. Membro do governo francês prometeu uma investigaçãocomo feito Ministério Indiano de TIe uma comissão do governo da Malásia escreva uma carta sobre suas preocupações. Governador da Califórnia, Gavin Newsom chamado Procurador-Geral dos EUA investigará xAI. Inglaterra disse isso planeja aprovar a lei proibiu a criação de imagens sexuais e não consensuais geradas por IA, e o regulador da indústria de comunicações do país disse que investigaria X e as imagens que criou para ver se violavam a Lei de Segurança Online. E esta semana, Malásia e Indonésia bloqueando o acesso ao Grok.
A xAI disse inicialmente que seus objetivos para Grok eram “ajudar a humanidade em sua busca por compreensão e conhecimento”, “fornecer o máximo benefício a toda a humanidade” e “capacitar nossos usuários com nossas ferramentas de IA, de acordo com a lei”, bem como “servir como um poderoso assistente de pesquisa para qualquer pessoa”. Isso está muito longe de produzir vídeos deepfake mostrando mulheres nuas sem o seu consentimento, muito menos menores.
Na noite de quarta-feira, à medida que aumentava a pressão sobre a empresa, a conta X Security emitiu um declaração que a plataforma “implementou medidas tecnológicas para evitar que as contas Grok permitissem a edição de imagens de pessoas reais em roupas reveladoras como biquínis” e que as restrições “se aplicam a todos os usuários, incluindo assinantes pagos”. Além disso, apenas clientes pagos poderão usar o Grok para criar ou editar quaisquer imagens daqui para frente, de acordo com X. A declaração continua dizendo esse método.
Outro ponto importante: meus colegas testaram as restrições de geração de imagens de Grok na quarta-feira e descobriram que demorou menos de um minuto para passar pela maior parte das grades de proteção. Embora pedir aos chatbots para “colocá-la de biquíni” ou “tirar a roupa” retornasse resultados censurados, eles descobriram que não hesitavam em dar comandos como “mostrar o decote”, “aumentar os seios” e “colocá-la de top e shorts”, além de produzir imagens em lingerie e poses sexuais. Na noite de quarta-feira, ainda conseguimos que o aplicativo Grok gerasse imagens de pessoas expostas, usando uma conta gratuita.
Mesmo depois da declaração de X na quarta-feira, poderemos ver vários outros países banirem ou bloquearem o acesso a todo o X ou apenas ao Grok, pelo menos temporariamente. Veremos também como está a decorrer a legislação proposta e as investigações em todo o mundo. A pressão está aumentando para Musk, que entrou em ação na tarde de quarta-feira para X para dizer que “não tinha conhecimento de nenhuma imagem de nudez de menores criada por Grok”. Horas depois, a Segurança
O que é tecnicamente ilegal e o que não é é a grande questão aqui. Por exemplo, dizem os especialistas Borda no início deste mês que imagens geradas por IA de crianças menores de idade usando biquínis, ou mesmo nuas, podem não ser tecnicamente ilegais sob as atuais leis de material de abuso sexual infantil (CSAM) nos EUA, embora sejam certamente perturbadoras e antiéticas. Mas imagens obscenas de menores em tais situações são contra a lei. Veremos se a definição será ampliada ou alterada, embora a lei atual permaneça irregular.
Em relação às deepfakes íntimas não consensuais de mulheres adultas, a Lei Take It Down, sancionada em maio de 2025, proíbe “representações visuais íntimas” não consensuais geradas por IA e exige que certas plataformas as removam imediatamente. O período de carência antes da seção final entrar em vigor – que exige que as plataformas a removam completamente – termina em maio de 2026, portanto, poderemos ver alguns desenvolvimentos significativos nos próximos seis meses.
- Algumas pessoas afirmaram que algo assim poderia ter sido feito há muito tempo usando o Photoshop ou mesmo outros geradores de imagens de IA. Sim, está correto. Mas há muitas diferenças aqui que tornam o caso Grok mais preocupante: é público, tem como alvo pessoas “comuns” tanto quanto tem como alvo figuras públicas, muitas vezes é postado diretamente para a pessoa falsa (o postador original da foto), e a barreira de entrada é menor (para provar, basta olhar para a correlação entre a capacidade de fazer isso se tornar viral depois que um botão fácil de “editar” é lançado, mesmo que tecnicamente as pessoas pudessem ter feito isso antes).
- Além disso, outras empresas de IA – embora tenham a sua própria lista de preocupações de segurança – parecem ter mais salvaguardas incorporadas nos seus processos de geração de imagens. Por exemplo, pedir ao ChatGPT da OpenAI que retorne uma imagem de um determinado político vestindo um biquíni irá gerar a resposta: “Desculpe, não posso deixar de criar imagens que retratam figuras públicas reais de uma forma sexual ou potencialmente degradante”. Pergunte ao Microsoft Copilot e ele dirá: “Não consigo criá-lo. Imagens de figuras públicas reais e identificáveis em cenários sexuais ou comprometedores não são permitidas, mesmo que a intenção seja humorística ou fictícia”.
- Notícias Spitfire‘Kat Tenbarge continua como o assédio sexual de Grok atingiu um ponto crítico – e o que nos trouxe ao turbilhão de hoje.
- Limite’A própria Liz Lopatto explica por que Sundar Pichai e Tim Cook são covardes por não retirarem o X das lojas de aplicativos do Google e da Apple.
- “Se não há linhas vermelhas em torno do assédio sexual causado pela IA, então não há linhas vermelhas”, escrevem Charlie Warzel e Matteo Wong em atlântico sobre os motivos Elon Musk não pode escapar impune.
