O Centro Nacional para Crianças Desaparecidas e Exploradas afirma que receberá mais de 1 milhão de denúncias de material de abuso sexual infantil (CSAM) relacionado à IA até 2025. De acordo com a investigação da Amazon, a “grande maioria” do conteúdo foi sinalizada pela Amazon, que descobriu o material em seus dados de treinamento. Bloomberg. A Amazon também disse apenas que obteve conteúdo impróprio de fontes externas usadas para treinar seus serviços de IA e alegou que não poderia fornecer detalhes sobre as fontes do CSAM.
A Amazon forneceu a seguinte explicação ao Engadget, explicando por que não possui dados para fornecer ações adicionais sobre o assunto.
“Ao estabelecer este canal de denúncia em 2024, informamos ao NCMEC que, devido à natureza de terceiros dos dados digitalizados, não haveria informações suficientes para produzir um relatório acionável. Um canal separado garantiria que esses relatórios não diluíssem a eficácia de outros canais de denúncia. Devido à forma como esses dados são obtidos, não há dados que constituam um relatório acionável.”
“Este é realmente um caso atípico”, disse Fallon McNulty, diretor executivo da NCMEC CyberTipline. Bloomberg. CyberTipline é onde vários tipos de empresas sediadas nos EUA são legalmente obrigadas a denunciar CSAM suspeitos. “Com um volume tão grande chegando ao longo do ano, levantam-se muitas questões sobre a origem dos dados e quais salvaguardas estão em vigor.” Ela acrescentou que, além da Amazon, os relatórios relacionados à IA que a organização recebeu de outras empresas no ano passado contêm dados acionáveis que podem ser repassados às autoridades para as próximas etapas. McNulty disse que o relatório revelou-se “inacionável” porque a Amazon não divulga suas fontes.
A Amazon forneceu os seguintes detalhes adicionais ao Engadget: Bloomberg:
“A Amazon está comprometida em prevenir o CSAM em todos os nossos negócios e não tem conhecimento de quaisquer instâncias de modelos que produzam CSAM. Guiados por nosso compromisso com a IA responsável e nossos princípios de IA generativa para prevenir o abuso infantil, adotamos uma abordagem intencionalmente cautelosa para verificar os dados de treinamento do modelo subjacente, incluindo dados da web pública, para identificar e remover o CSAM conhecido e proteger nossos clientes. Nossas salvaguardas proativas são responsáveis, embora não possamos fornecer os mesmos detalhes que as ferramentas voltadas ao consumidor no relatório NCMEC. Esforços para prevenir IA e CSAM continuarão.”
A empresa também reiterou que “usamos intencionalmente limites excessivamente inclusivos em nossa digitalização, resultando em uma alta taxa de falsos positivos”, para dar conta do alto volume de conteúdo relatado pela empresa.
As questões de segurança para menores tornaram-se uma grande preocupação para a indústria de inteligência artificial nos últimos meses. CSAM aumentou nos registros do NCMEC. Em comparação com os mais de 1 milhão de relatórios relacionados com a IA que as organizações receberam no ano passado, houve um total de 67.000 relatórios em 2024 e apenas 4.700 relatórios em 2023.
Além de questões como o uso de conteúdo malicioso para treinar modelos, os chatbots de IA foram implicados em uma série de incidentes perigosos ou trágicos envolvendo usuários jovens. OpenAI e Character.AI foram processadas depois que adolescentes usaram as plataformas das empresas para planejar suicídio. A Meta também está sendo processada por não proteger usuários jovens de conversas sexualmente explícitas com chatbots.
Atualização, 30 de janeiro de 2026, 11h05 ET: Esta história foi atualizada com várias declarações da Amazon.
