Durante anos, as empresas de cartão de crédito e outros métodos de pagamento têm atuado na repressão ao conteúdo de abuso sexual infantil. Então Grok de Elon Musk começou a tirar as roupas das crianças do X.
O Center for Countering Digital Hate encontrou 101 imagens sexuais de crianças em sua investigação. 20.000 amostras de imagens criadas por Grok De 29 de dezembro a 8 de janeiro. Usando essa amostra, o grupo estimou que 23 mil imagens sexuais de crianças foram produzidas nesse período. Eles estimaram que, em média, uma imagem sexual de uma criança foi criada a cada 41 segundos durante um período de 11 dias. Embora nem todas as imagens sexuais que Grok produziu fossem ilegais, o relatório sugere que pelo menos algumas provavelmente ultrapassaram os limites.
Há uma enorme confusão sobre o que está acontecendo em Grok a qualquer momento. Grok forneceu uma resposta contendo detalhes enganosos, alegando, por exemplo, que limitaria a criação de imagens apenas a assinantes pagos do X, ao mesmo tempo que permitiria aos usuários gratuitos acesso direto ao X. Musk afirmou que as novas proteções impediriam que Grok tirasse a roupa das pessoas, mas nossos testes mostram que isso não é necessariamente verdade. Usando a conta gratuita do Grok, A beira Depois que as novas regras entraram em vigor, imagens falsas de pessoas reais vestindo roupas minúsculas e em posições sexualmente sugestivas poderiam ser criadas. No momento em que este livro foi escrito, algumas mensagens sérias pareciam ter sido bloqueadas, mas as pessoas são muito espertas em contornar proibições baseadas em regras.
No passado, os provedores de pagamento foram proativos no bloqueio do acesso a sites que acreditavam ter uma grande presença de CSAM.
Parece que X limitou pelo menos parcialmente os recursos de edição de imagens do Grok para assinantes pagantes. Isto torna muito provável que o dinheiro esteja de facto a mudar de mãos em pelo menos algumas destas imagens desagradáveis. Você pode adquirir uma assinatura X usando um cartão de crédito no Stripe ou nas lojas de aplicativos Apple e Google. Almíscar é Sugira também através sua postagem Ele não acha que seja um problema tirar a roupa das pessoas. Este também não é o primeiro contato de X com pornografia de IA. Tem havido repetidos problemas para reconciliar deepfakes nus de Taylor Swift, sejam eles criados por Grok ou não.
No passado, os provedores de pagamento foram proativos no bloqueio do acesso a sites que acreditam ter uma grande presença de CSAM, ou mesmo de conteúdo sexual consensual legal. Em 2020 Mastercard e Visa baniram o Pornhub. ~ depois sem chance tempos de Nova York O artigo mencionou que o CSAM prevalece na plataforma.. Em maio de 2025, Civitai irá Bloqueado pelo processador do cartão de crédito “Porque eles não querem apoiar uma plataforma que permite conteúdo explícito gerado por IA”, disse Justin Maier, CEO da Civitai. mídia 404. Julho de 2025, Processador de pagamentos pressiona Valve para remover jogos adultos.
Na verdade, em alguns casos, as instituições financeiras ameaçaram pessoas e plataformas porque parecem não querer correr riscos de reputação. Em 2014, a arrecadação de fundos para o hospital do artista adulto Eden Alexander foi encerrada pela empresa de pagamentos WePay devido a um retuíte. Além disso, em 2014, o JPMorganChase subitamente Fecha contas bancárias de diversas estrelas pornôs. Em 2021, OnlyFans tentou brevemente proibir conteúdo sexualmente explícito porque os bancos não gostaram. (Ampla oposição ao movimento Isso rapidamente mudou OnlyFans..) Isso é jurídico, acordado Conteúdo sexual – considerado muito quente para ser manuseado.
“A indústria não está mais disposta a auto-regular o que é universalmente considerado a coisa mais nojenta do mundo.”
Mas o gerador de pornografia de vingança e CSAM de Musk certamente parece bom.
É uma reviravolta surpreendente. “A indústria já não está disposta a auto-regular o que é universalmente aceite como a coisa mais nojenta do mundo”, afirma Lana Swartz, autora de CSAM. A nova moeda: como os pagamentos se tornaram mídias sociaisInação da Stripe e das empresas de cartão de crédito.
Visa, Mastercard, American Express, Stripe e Discover não responderam aos pedidos de comentários. A Coalizão Financeira dos EUA Contra a Exploração Sexual Infantil, um grupo industrial formado por processadores de pagamentos, bancos e empresas de cartão de crédito, também não respondeu a um pedido de comentário. No seu website, a FCACSE afirma: “Como resultado dos nossos esforços, a utilização de cartões de crédito para comprar material de abuso sexual infantil online praticamente desapareceu em todo o mundo”.
Imagens sexuais de crianças não são o único problema na criação de imagens de Grok.
No passado, “as pessoas que faziam coisas perfeitamente legais eram bloqueadas nos bancos”, diz Riana Pfefferkorn, investigadora política do Laboratório de Inteligência Artificial Centrada no Ser Humano de Stanford. Há um incentivo para impor vigilância excessiva em torno de imagens suspeitas, e esse tem sido tradicionalmente o caso no setor financeiro. Então, por que X é diferente? Esta é uma empresa dirigida por Elon Musk. “Ele é o homem mais rico do mundo, tem laços estreitos com o governo dos EUA e é extremamente litigioso”, diz Pfefferkorn. Na verdade, Musk já entrou com uma ação judicial contra o Center for Countering Digital Hate. O processo agora arquivado alegou que ele coletou ilegalmente dados que mostram um aumento no discurso de ódio após comprar a plataforma anteriormente conhecida como Twitter.
Imagens sexuais de crianças não são o único problema na criação de imagens de Grok. tempos de Nova York Estima-se que 1,8 milhão de imagens (aproximadamente 44% das postagens) geradas pela IA ao longo de 9 dias eram imagens sexuais de mulheres adultas e, dependendo do nível de explicitação, a distribuição pode ser ilegal. Usando uma variedade de ferramentas, o Center for Countering Digital Hate estimou que mais da metade das imagens de Grok continham imagens sexuais de homens, mulheres e crianças.
A explosão de imagens sexuais ocorreu depois que Musk postou uma imagem sua de biquíni editada com IA em 31 de dezembro. Postado por Nikita Bier, proprietária de produto da X Os últimos 4 dias foram também os dias com maior nível de participação no X.
A advogada Carrie Goldberg tem experiência em contestar a Seção 230. Processo de perseguição contra o Grindr E, finalmente, outro processo Sair do cliente de bate-papo OmegleNo processo contra X, Ashley St., mãe de um dos filhos de Musk. Representando Clara. St. Clair é uma das muitas mulheres que Grok despiu e agora ela está processando a plataforma, alegando que X causou um incômodo público. “No caso St. Clair, estamos nos concentrando apenas em xAI e Grok porque, do nosso ponto de vista, eles são diretamente responsáveis”, disse ela por e-mail. “Mas posso pensar em outras fontes de responsabilidade.” Ela citou distribuidores como as lojas de aplicativos da Apple e do Google como áreas de interesse particular.
“Muitas questões podem acabar em tribunal e caberá aos juízes decidir o que é ‘sexualmente explícito’”.
Existem também outras possíveis questões jurídicas. Em 2022, a Visa foi processada por fornecer serviços de pagamento ao Pornhub. Porque a Visa sabia que o Pornhub não estava moderando adequadamente o CSAM. Outras ações judiciais se seguiram. O juiz do caso Visa rejeitou o argumento do Pornhub de que a Seção 230 não era responsável. Em 2025, o processo contra a Visa foi provisoriamente arquivado.No entanto, a mulher que entrou com a ação Você pode enviar uma reclamação alterada.
“Muitas questões podem acabar em tribunal e caberá aos juízes decidir o que é ‘sexualmente explícito’”, disse David Evan Harris, um académico público da Universidade da Califórnia, Berkeley. ainda, 45 estados criminalizaram CSAM gerado por IA.. Lei Federal de Remoção Criminalize nus deepfake. Califórnia é Musk e X receberam ordem de cessar e desistir.Depois de anunciar uma investigação sobre as imagens de Grok. Grock é provavelmente Viola a proibição de pornografia deepfake na Califórnia – E na Califórnia, pelo menos 23 estados aprovaram o projeto.
Esta é uma questão importante para processadores de pagamento. Isto porque se você transferir conscientemente o produto do crime, poderá ser implicado em lavagem de dinheiro e ter consequências graves. O gabinete do procurador-geral da Califórnia, Rob Bonta, recusou-se a comentar se Stripe, cartões de crédito ou lojas de aplicativos também faziam parte da investigação Grok, citando a investigação em andamento. As leis sobre lavagem de dinheiro são uma das razões pelas quais as instituições financeiras são tão cautelosas com sites acusados de conter CSAM.
Mas X criou uma situação em que os processadores de pagamentos têm grande dificuldade em levar a lei a sério. Porque qualquer estado que abrir uma ação judicial contra X ou mais processadores provavelmente será atacado por Musk por “censurar” a base de direita de X. Além disso, Musk e talvez o seu amigo, o presidente dos EUA, Donald Trump, poderiam dedicar recursos significativos ao resgate dos processadores de pagamentos.
Quando se trata de CSAM e deepfakes, o setor financeiro não parece mais disposto a se auto-regular. Então, quem irá regular?
