Character.AI planeja proibir crianças de falar com chatbots de IA a partir do próximo mês, em meio a um crescente escrutínio sobre como os jovens usuários interagem com a tecnologia.
A empresa, conhecida por sua ampla gama de personagens de IA, removerá a possibilidade de usuários menores de 18 anos participarem de conversas “gratuitas” com IA até 25 de novembro. Planejamos reduzir o acesso nas próximas semanas, limitando inicialmente o tempo de bate-papo das crianças a duas horas por dia.
Character.AI disse que planeja desenvolver uma “experiência para menores de 18 anos” que permitiria aos adolescentes criar vídeos, histórias e streams com seus personagens de IA.
“Estamos fazendo essas mudanças em nossa plataforma para menores de 18 anos à luz do cenário em evolução em torno da IA e dos jovens”, disse a empresa em uma postagem no blog, destacando notícias recentes e perguntas dos reguladores.
A empresa e outros desenvolvedores de chatbots foram recentemente investigados devido a uma série de suicídios de adolescentes ligados à tecnologia. A mãe de Sewell Setzer III, de 14 anos, processou a Character.AI em novembro, acusando o chatbot de causar o suicídio de seu filho.
A OpenAI também está sendo processada pelos pais de Adam Raine, de 16 anos, que cometeu suicídio após participar do ChatGPT. Ambas as famílias testemunharam perante uma comissão do Senado no mês passado e instaram os legisladores a colocarem grades de proteção nos chatbots.
A Comissão Federal de Comércio também lançou uma investigação sobre chatbots de IA em setembro passado, solicitando informações da Character.AI, OpenAI e de várias outras grandes empresas de tecnologia.
“Depois de avaliar esses relatórios e feedback de reguladores, especialistas em segurança e pais, decidimos fazer essas mudanças para criar uma nova experiência para a comunidade menor de 18 anos”, disse Character.AI na quarta-feira.
“Este é um movimento extraordinário para a nossa empresa e, em muitos aspectos, um movimento mais conservador do que os nossos pares”, acrescentou. “Mas acreditamos que é a coisa certa a fazer.”
Além de limitar o acesso das crianças aos chatbots, a Character.AI planeja lançar uma nova tecnologia de garantia de idade e estabelecer e financiar uma nova organização sem fins lucrativos chamada AI Safety Lab.
Em meio a preocupações crescentes sobre chatbots, um grupo bipartidário de senadores apresentou na terça-feira uma legislação que proibiria companheiros de IA para crianças.
Os senadores Josh Hawley (R-Mo.), Richard Blumenthal (D-Conn.), Katie Britt (R-Ala.), Mark Warner (D-Va.) e Chris Murphy (D-Conn.) não só exigiriam que os chatbots de IA divulgassem repetidamente que não são humanos, mas também tornariam crime o desenvolvimento de produtos que solicitam ou produzem conteúdo sexual para crianças.
O governador da Califórnia, Gavin Newsom, um republicano, assinou um projeto de lei semelhante no final do mês passado exigindo que os desenvolvedores de chatbots no Golden State criassem protocolos para evitar que seus modelos gerassem conteúdo sobre suicídio ou automutilação e direcionassem os usuários a serviços de crise, se necessário.
Ele não aprovou medidas mais rigorosas que proibiriam os desenvolvedores de fornecer chatbots a crianças, a menos que garantissem que não se envolvessem em conversas prejudiciais com crianças.
