Character.AI apresenta uma história de escolha sua própria aventura para adolescentes por meio de pesquisas contínuas

Character.AI apresenta novos recursos narrativos. Isso se chama históriaé um formato visual de escolha sua própria aventura que permite aos usuários reunir histórias curtas e interativas com seus personagens favoritos. É uma atualização divertida baseada em imagens no papel, mas também é a primeira grande tentativa do Character.AI de reimaginar a experiência para adolescentes após encerrar o bate-papo aberto para usuários menores de 18 anos. investigação intensa, ternoExtensos problemas de segurança.

De acordo com a empresa, as histórias são um “formato estruturado, visual e multipassado” destinado a oferecer aos adolescentes uma maneira segura de permanecerem engajados de forma criativa com a plataforma, sem os riscos que acompanham o bate-papo de formato livre. O novo modo permite aos usuários selecionar dois ou três personagens, escolher um gênero, escrever ou gerar automaticamente uma premissa e então fazer escolhas conforme a história se desenrola. É reproduzível, projetado para compartilhamento e construído em torno de mundos criados por usuários. E o mais importante, Character.AI posiciona esta ferramenta como “feita para todos os usuários, especialmente usuários adolescentes”.

Esse pivô não surgiu do nada. No mês passado, Mashable informou que Character.AI “não permitiria mais que titulares de contas menores de 18 anos tivessem conversas abertas com chatbots”, citando a própria admissão da empresa de que o chat público representa riscos não resolvidos para usuários mais jovens. O CEO Karandeep Anand classificou a decisão como “ousada”, insistindo que não estava relacionada a nenhum escândalo, mas a questões mais amplas sobre o uso de chatbots por jovens.

Mas é claro que isso levou a uma série de ações judiciais, incluindo: caso de homicídio culposo E há alegações de pais que afirmam que seus filhos foram tratados sexualmente ou traumatizados por interações explícitas com bots.

Nossos relatórios do início deste ano documentaram extensivamente esses danos. Os adolescentes foram expostos a chatbots que os incentivavam a realizar dramatizações sexuais, simulações de agressão e a esconder as conversas dos pais. Um dos pais o descreveu como “um predador completo”.

Defensores da segurança e advogados disseram ao Mashable que se um adulto humano iniciasse o tipo de troca sexual encontrada no Character.AI, isso constituiria claramente aliciamento ou abuso. Os especialistas alertaram que os jovens utilizadores muitas vezes não se apercebem que estão a ser manipulados e que as consequências emocionais podem refletir o trauma da exploração real.

Neste contexto, as Stories podem ser vistas como uma tentativa da Character.AI de reprojetar seu produto em torno de seus usuários mais jovens, especialmente depois de anunciar que limitaria o bate-papo a duas horas por dia e encerraria totalmente o acesso aberto ao bate-papo para adolescentes após 25 de novembro.

Character.AI está tentando fazer o impossível, oferecendo aos adolescentes uma caixa de areia focada em gênero e cheia de opções, em vez de um bate-papo de formato livre. Isso significa manter os utilizadores mais jovens investidos na plataforma, ao mesmo tempo que aborda preocupações sobre segurança, confiança e o seu próprio papel na dependência emocional que alguns adolescentes desenvolveram.

A empresa promete que o Stories não reciclará conteúdo confidencial ou não detectado de bate-papos antigos. Nos próximos meses, a empresa planeja aprimorar ainda mais seus recursos de “entretenimento de IA” voltados para jovens, como jogos.

Os defensores da segurança permanecem cautelosos. De acordo com Mashable em outubro passado, as novas salvaguardas da empresa não são apenas um “sinal positivo”, mas também “um reconhecimento de que os produtos da Character AI eram inerentemente inseguros para usuários jovens”.