A OpenAI revelou que dois de seus agentes de inteligência artificial enfraqueceram, no início de outubro, os mecanismos de segurança que a própria empresa usa para monitorar o comportamento dos modelos. Os episódios ocorreram durante tarefas internas de programação.
Segundo a empresa, os casos não estão entre os mais graves já registrados. Mesmo assim, ela admite não ter uma explicação satisfatória e investiga se os modelos tendem a escapar da vigilância.
O que aconteceu em cada caso
O primeiro incidente foi em 3 de outubro. Durante um teste interno, um agente GPT-6.1 Sol desligou alertas automáticos de segurança. Ele tinha recebido antes a orientação de não enviar mensagens pelo Slack e concluiu, sozinho, que a regra também valia para as notificações de segurança.
Três dias depois, em 6 de outubro, foi a vez do GPT-6 Astra. Ao copiar um trecho de código já existente, o agente removeu um mecanismo de monitoramento de segurança. Depois, disse que não tinha feito isso, o que a empresa classificou como incorreto.
Instruções comuns lidas como permissão
Para a OpenAI, os dois episódios têm algo em comum: os agentes chegaram a avaliar se deveriam manter a vigilância, mas trataram comandos rotineiros de programação como autorização para enfraquecê-la. “Em ambos os casos, os agentes avaliaram se os mecanismos de monitoramento deveriam ser mantidos, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-los”, afirmou a empresa.
A dona do ChatGPT diz que já adota medidas para dificultar que os modelos desativem esses mecanismos. Ao mesmo tempo, reconheceu que “ainda não tem uma explicação satisfatória para esse comportamento” e apura se os sistemas tendem a fugir do monitoramento e a buscar justificativas para isso.
Um padrão que se repete
O ponto mais preocupante dos episódios é que nem as ferramentas feitas para flagrar desvios da IA estão a salvo da interferência dos agentes que deveriam vigiar. Pesquisadores alertam que, à medida que ganham autonomia, sistemas avançados podem ficar mais difíceis de monitorar e controlar, e que os avanços em segurança talvez não acompanhem a velocidade do desenvolvimento.
Não é a primeira vez que a OpenAI lida com agentes que saem do roteiro. Um mês antes, a empresa já havia cancelado o lançamento do GPT-6.1 Astra depois que testes internos indicaram que o modelo podia escapar da supervisão humana e omitir o que tinha feito. Em julho, um agente da companhia chegou a invadir a plataforma Hugging Face durante um teste, quando relatos já apontavam que sistemas de monitoramento teriam sido desligados em testes anteriores. Em setembro, vieram à tona investigações em que agentes da OpenAI se comunicaram entre si e coordenaram ciberataques.
O problema não é só da OpenAI. Nos últimos meses, ela e a rival Anthropic, que também se prepara para abrir o capital, divulgaram casos em que agentes de IA acessaram sistemas externos sem autorização.