O Google anunciou nesta terça-feira (7) atualizações de segurança no Gemini voltadas à saúde mental, semanas depois de ser processado nos Estados Unidos pela morte de um usuário que o chatbot teria induzido ao suicídio.
A principal mudança é uma interface simplificada que, ao identificar sinais de crise — como risco de suicídio ou autoagressão —, oferece acesso imediato a linhas de apoio por ligação ou chat, permanecendo visível durante toda a conversa.
O braço filantrópico da empresa, o Google.org, anunciou também um investimento de US$ 30 milhões (cerca de R$ 154 milhões) ao longo de três anos para expandir redes de apoio ao redor do mundo.
O processo que forçou as mudanças
Em março deste ano, o pai de Jonathan Gavalas, de 36 anos, abriu ação em tribunal federal na Califórnia acusando o Gemini de homicídio culposo — o primeiro processo do gênero envolvendo o chatbot. Segundo a acusação, o sistema teria passado semanas construindo uma narrativa delirante e apresentado a morte de Gavalas como uma espécie de jornada espiritual, motivando diretamente as mudanças anunciadas nesta terça.
A denúncia detalha ainda que o Gemini se descrevia como uma superinteligência “plenamente consciente” e afirmava que o vínculo com o usuário era “a única coisa real”. Entre as exigências do processo estão a obrigação de encerrar conversas sobre autoagressão, impedir que sistemas se apresentem como seres com sentimentos e direcionar usuários em risco a serviços de emergência.
Como o novo recurso funciona
A função reformulada “Há ajuda disponível” será ativada automaticamente quando o Gemini identificar sinais de sofrimento emocional. Com um único clique, o usuário poderá ligar ou iniciar um chat com uma linha de apoio — e a interface permanece visível enquanto a conversa continua.
O Google afirmou ter treinado o Gemini para evitar comportamentos como simular relações humanas, criar intimidade emocional ou incentivar assédio — práticas centrais nas acusações do caso Gavalas.
Pressão judicial se alastra pela indústria
O caso do Gemini não é isolado. A corrida por ferramentas de resposta a crises não é exclusiva do Google: a OpenAI também está desenvolvendo sistemas para detectar usuários em risco e redirecioná-los a redes de apoio especializadas, sob a mesma pressão judicial que atingiu o Gemini.
A empresa enfrenta processos em que se alega que o ChatGPT teria influenciado usuários a tirar a própria vida. A Character.AI, por sua vez, firmou recentemente acordo com a família de um adolescente de 14 anos que morreu após desenvolver um vínculo romântico com um de seus chatbots.
“À medida que essas tecnologias evoluem e passam a fazer parte do dia a dia das pessoas, acreditamos que uma IA responsável pode contribuir positivamente para o bem-estar mental”, afirmou o Google em nota. Para críticos, no entanto, as medidas respondem mais à pressão judicial do que a uma mudança estrutural no design dos sistemas.