Character.AI, uma popular plataforma de chatbot onde os usuários interpretam diferentes personalidades, não permitirá mais que titulares de contas menores de 18 anos tenham conversas abertas com chatbots, a empresa anunciou Quarta-feira. Também começará a contar com técnicas de seguro de idade para garantir que menores não possam abrir contas de adultos.
A mudança dramática ocorre apenas seis semanas depois que Character.AI foi processado novamente na Justiça Federal de vários pais de adolescentes que morreram por suicídio ou supostamente sofreram danos graves, incluindo abuso sexual; os pais afirmam que o uso da plataforma por seus filhos foi o responsável pela lesão. Em outubro de 2024, Megan Garcia entrou com uma ação por homicídio culposo para responsabilizar a empresa pelo suicídio de seu filho, argumentando que seu produto era perigosamente defeituoso.
Os defensores da segurança online declararam recentemente que o Character.AI é inseguro para adolescentes depois que eles testei a plataforma esta primavera e registou centenas de interações prejudiciais, incluindo violência e exploração sexual.
Como Character.AI enfrentou pressão legal no ano passado, Character.AI implementou controles parentais e filtro de conteúdo em um esforço para melhorar a segurança dos adolescentes.
Character.AI não é seguro para adolescentes, dizem especialistas
Em uma entrevista ao Mashable, o CEO da Character.AI, Karandeep Anand, descreveu a nova política como “ousada” e negou que restringir conversas abertas do chatbot com adolescentes fosse uma resposta a preocupações específicas de segurança.
Em vez disso, Anand enquadrou a decisão como “a coisa certa a fazer” à luz de questões mais amplas não respondidas sobre os efeitos a longo prazo do envolvimento do chatbot nos adolescentes. Anand referiu O mais recente reconhecimento da OpenAIapós o suicídio de um usuário adolescente, longas conversas podem se tornar imprevisíveis.
Anand definiu a nova política da Character.AI como padrão: “Espero que isso coloque todos em um caminho onde a IA possa continuar a ser segura para todos”.
Ele acrescentou que a decisão da empresa não mudará, independentemente da reação dos usuários.
Como será o Character.AI para os adolescentes agora?
Em um postagem no blog anuncia Seguindo a nova política, a Character.AI pediu desculpas aos seus adolescentes.
Relatório de tendências do Mashable
“Não estamos tomando essa medida para remover o bate-papo aberto com personagens levianamente – mas acreditamos que é a coisa certa a fazer, dadas as questões que foram levantadas sobre como os adolescentes interagem e devem interagir com essa nova tecnologia”, disse o post do blog.
Atualmente, usuários de 13 a 17 anos podem enviar mensagens com chatbots na plataforma. Esse recurso deixará de existir em 25 de novembro. Até então, as contas cadastradas para menores terão prazos a partir de duas horas por dia. Esse limite diminuirá à medida que a transição dos chats abertos se aproxima.
Character.AI verá essas notificações sobre as próximas mudanças na plataforma.
Crédito: Cortesia de Character.AI
Embora os chats abertos desapareçam, o histórico de chat dos adolescentes com chatbots individuais permanecerá intacto. Anand disse que os usuários podem aproveitar esse material para criar pequenas histórias em áudio e vídeo com seus chatbots favoritos. Nos próximos meses, Character.AI também explorará novos recursos, como jogos. Anand acredita que a ênfase no “entretenimento de IA” sem bate-papo aberto irá satisfazer o interesse criativo dos adolescentes na plataforma.
“Eles vêm para interpretar e para se divertir”, disse Anand.
Ele insistiu que o histórico de bate-papo existente com conteúdo sensível ou proibido que pode não ter sido detectado anteriormente por filtros, como violência ou sexo, não seria incluído nas novas histórias de áudio ou vídeo.
Um porta-voz da Character.AI disse ao Mashable que a equipe de confiança e segurança da empresa revisou os resultados de um relatório co-publicado em setembro pela Heat Initiative, documentando trocas maliciosas de chatbots com contas de teste registradas para menores. A equipe concluiu que algumas conversas violavam as diretrizes de conteúdo da plataforma, enquanto outras não. Também foram feitas tentativas de replicar as conclusões do relatório.
“Com base nestes resultados, refinamos alguns dos nossos classificadores, em linha com o nosso objetivo de proporcionar aos utilizadores uma experiência segura e envolvente na nossa plataforma”, disse o porta-voz.
Independentemente disso, a Character.AI começará a implementar o seguro por idade imediatamente. Demorará um mês para fazer efeito e terá várias camadas. Anand disse que a empresa está construindo seus próprios modelos de garantia internamente, mas fará parceria com uma empresa terceirizada na tecnologia.
Também utilizará dados e sinais relevantes, como se um utilizador tem uma conta verificada com mais de 18 anos noutra plataforma, para detectar com precisão a idade de utilizadores novos e existentes. Finalmente, se um usuário desejar contestar a determinação de idade da Character.AI, ele terá a opção de fornecer verificação por meio de um terceiro, que tratará de documentos e dados confidenciais, incluindo identificação emitida pelo governo.
Finalmente, como parte da nova política, a Character.AI está estabelecendo e financiando uma organização independente sem fins lucrativos chamada AI Safety Lab. O laboratório se concentrará em “novas tecnologias de segurança”.
“(Queremos) trazer especialistas da indústria e outros parceiros para continuar a garantir que a IA continue segura, especialmente no entretenimento de IA”, disse Anand.
