Character.AI e Google processaram após morte de adolescente obcecado por chatbot #ÚltimasNotícias #tecnologia

Uma ação judicial foi movida contra a Character.AI, seus fundadores Noam Shazeer e Daniel De Freitas e o Google após a morte de um adolescente, alegando homicídio culposo, negligência, práticas comerciais enganosas e responsabilidade pelo produto. Arquivado pela mãe do adolescente, Megan Garcia, afirma que a plataforma para chatbots de IA personalizados era “excessivamente perigosa” e não tinha grades de segurança enquanto era comercializada para crianças.

Conforme descrito no processo, Sewell Setzer III, de 14 anos, começou a usar Character.AI no ano passado, interagindo com chatbots modelados a partir de personagens de A Guerra dos Tronosincluindo Daenerys Targaryen. Setzer, que conversou continuamente com os bots nos meses anteriores à sua morte, morreu por suicídio em 28 de fevereiro de 2024, “segundos” após sua última interação com o bot.

As acusações incluem o site “antropomorfizando” personagens de IA e que os chatbots da plataforma oferecem “psicoterapia sem licença”. Character.AI abriga chatbots focados em saúde mental, como “Therapist” e “Are You Feeling Lonely”, com os quais Setzer interagiu.

Os advogados de Garcia citam Shazeer dizendo em uma entrevista que ele e De Freitas deixaram o Google para abrir sua própria empresa porque “há muito risco de marca em grandes empresas para lançar algo divertido” e que ele queria “acelerar ao máximo” a tecnologia. Diz que eles saíram depois que a empresa decidiu não lançar o Meena LLM que construíram. O Google adquiriu a equipe de liderança Character.AI em agosto.

O site e o aplicativo móvel da Character.AI têm centenas de chatbots de IA personalizados, muitos deles inspirados em personagens populares de programas de TV, filmes e videogames. Há alguns meses, A beira escreveu sobre os milhões de jovens, incluindo adolescentes, que constituem a maior parte de sua base de usuários, interagindo com bots que podem fingir ser Harry Styles ou um terapeuta. Outro relatório recente da Com fio destacou problemas com os chatbots personalizados da Character.AI se passando por pessoas reais sem seu consentimento, incluindo um se passando por um adolescente que foi assassinado em 2006.

Devido à forma como chatbots como Character.ai geram resultados que dependem do que o usuário insere, eles caem em um vale misterioso de perguntas espinhosas sobre conteúdo gerado pelo usuário e responsabilidades que, até agora, carecem de respostas claras.

Character.AI anunciou agora várias mudanças na plataforma, com o chefe de comunicações Chelsea Harrison dizendo em um e-mail para A beira“Estamos com o coração partido pela trágica perda de um de nossos usuários e queremos expressar nossas mais profundas condolências à família.”

Algumas das mudanças incluem:

“Como empresa, levamos muito a sério a segurança de nossos usuários, e nossa equipe de Confiança e Segurança implementou inúmeras novas medidas de segurança nos últimos seis meses, incluindo um pop-up direcionando os usuários para a Linha Nacional de Prevenção ao Suicídio, que é acionada por termos de automutilação ou ideação suicida”, disse Harrison. O Google não respondeu imediatamente A beirapedido de comentário.