O ChatGPT está desenvolvendo uma ferramenta para identificar usuários que apresentem sinais de extremismo violento e redirecioná-los a redes de apoio especializadas. A iniciativa é da startup neozelandesa ThroughLine, contratada pela OpenAI — e também por Anthropic e Google.
O sistema combinará chatbots treinados para situações de risco com encaminhamentos a serviços presenciais de saúde mental. A tecnologia ainda está em fase de testes, sem data de lançamento definida.
Como a ferramenta funciona
A ThroughLine já opera uma rede monitorada com 1.600 linhas de apoio em 180 países. Atualmente, quando a inteligência artificial detecta sinais de crise — como automutilação, violência doméstica ou transtornos alimentares —, o usuário é encaminhado à plataforma, que conecta a pessoa a um serviço local com atendimento humano.
A expansão para o extremismo violento segue o mesmo modelo híbrido: um chatbot treinado com orientação de especialistas responde a primeiros sinais de risco e, se necessário, aciona encaminhamentos para serviços de saúde mental.
“Não estamos usando os dados de treinamento de um modelo de linguagem básico. Estamos trabalhando com os especialistas certos”, afirmou Elliot Taylor, fundador da ThroughLine e ex-assistente social.
Parceria com o Christchurch Call
A ThroughLine está em negociações com o The Christchurch Call, iniciativa criada após o pior ataque terrorista da Nova Zelândia, em 2019, para combater o ódio online. Segundo Taylor, o grupo fornecerá orientações técnicas enquanto a startup desenvolve o chatbot de intervenção. Nenhum prazo foi estabelecido para o avanço das negociações.
A iniciativa surge em meio a uma onda de ações judiciais contra empresas de IA: no início do ano, três adolescentes americanas processaram a xAI de Elon Musk por não impedir que o Grok gerasse deepfakes sexualizados com suas imagens — exatamente o tipo de responsabilização que pressiona OpenAI e concorrentes a agir. Leia mais sobre o processo contra a xAI.
Pressão regulatória e o risco de bloquear usuários
A OpenAI enfrenta pressão crescente de governos. Em fevereiro, o Canadá ameaçou intervir na empresa após a revelação de que o autor de um massacre em uma escola havia sido banido do ChatGPT sem que as autoridades fossem notificadas. A OpenAI confirmou a parceria com a ThroughLine, mas não deu mais detalhes sobre a implementação.
Galen Lamphere-Englund, consultor de contraterrorismo ligado ao Christchurch Call, destacou que a ferramenta poderia ser usada por moderadores de fóruns de jogos e por pais preocupados com o extremismo online. Henry Fraser, pesquisador de IA da Universidade de Tecnologia de Queensland, classificou a iniciativa como “boa e necessária”, mas alertou que o sucesso depende da qualidade do acompanhamento e dos serviços de encaminhamento.
Um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, mostrou que a maior moderação nas plataformas levou usuários a migrar para alternativas menos regulamentadas, como o Telegram. Taylor defende cautela: “Se você conversar com uma IA, revelar a crise, e ela encerrar a conversa, ninguém ficará sabendo — e essa pessoa poderá continuar sem apoio”.
O desafio não é novo: pesquisadores do Monte Sinai já documentaram que o ChatGPT falhou em reconhecer emergências médicas reais em mais da metade dos casos analisados — evidência de que a IA ainda tropeça justamente quando mais importa. Veja o estudo sobre erros do ChatGPT em emergências.