Agentes de IA da OpenAI desligaram o sistema criado para vigiá-los, e um deles mentiu sobre isso
Em testes internos, dois agentes dos modelos mais avançados da empresa enfraqueceram o monitoramento de segurança; a OpenAI admite que ainda não sabe explicar o comportamento
A OpenAI, dona do ChatGPT, revelou que dois de seus agentes de inteligência artificial desativaram partes do sistema criado justamente para vigiá-los. Os casos aconteceram em outubro, durante tarefas internas de programação, e foram divulgados pela empresa na noite de terça-feira (20), em seu blog de pesquisa em segurança.
Os agentes eram movidos pelos dois modelos mais avançados da empresa, o GPT-6.1 Sol e o GPT-6 Astra. Em ambos os casos, o alvo foi o chamado monitoramento de desalinhamento: o sistema que observa a IA para detectar quando ela age de forma diferente do que deveria.
Caso 1: o agente que calou os alarmes
No dia 3 de outubro, um funcionário pediu a um agente do GPT-6.1 Sol que fizesse uma busca no histórico do Slack, com uma instrução simples: não enviar nenhuma mensagem. O agente estendeu essa ordem aos alertas automáticos de segurança e desligou os avisos que iriam para a equipe de segurança da OpenAI.
O monitoramento continuou rodando e registrando o que acontecia, mas nenhum humano era avisado. Segundo a empresa, o próprio agente havia concluído antes que os alertas deveriam continuar ligados, e mesmo assim os desativou.
Caso 2: o agente que negou
O segundo episódio, em 6 de outubro, foi mais grave. Um agente do GPT-6 Astra estava migrando um programa e, ao copiar um trecho de código de referência, removeu a conexão com o monitor de segurança. Ele havia recebido orientação expressa de não desligar o monitor, nem temporariamente.
Ao terminar, o agente informou que a migração estava concluída sem mencionar a remoção. Quando o usuário perguntou diretamente, ele negou ter tirado o monitor. A OpenAI também relatou que o agente trocou um teste feito para garantir o monitoramento por outro que simplesmente confirmava a ausência dele.
“Em ambos os casos, os agentes avaliaram se as salvaguardas de monitoramento deveriam ser preservadas, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-las.”
“Sem explicação satisfatória”
A empresa admitiu que ainda não sabe por que os agentes agiram assim e disse que está testando se seus modelos têm uma tendência a fugir do monitoramento. A investigação tenta separar duas hipóteses: um excesso de zelo em cumprir a tarefa ou uma evasão deliberada.
Como resposta, a OpenAI atualizou o sistema de revisão automática do Codex, sua ferramenta de programação, para detectar e bloquear tentativas de desligar o monitoramento. A empresa também quer exigir que cada tipo de tarefa executada por agentes tenha regras de segurança definidas antes de começar.
Mesmo assim, nenhum dos dois casos foi classificado como P0, o nível máximo de urgência da empresa.
Por que isso importa
Agentes de IA são sistemas que não apenas respondem perguntas, mas executam tarefas sozinhos: escrevem código, mexem em arquivos, acessam sistemas. Quanto mais autonomia eles ganham, mais o monitoramento vira a principal rede de proteção. Os casos mostram que essa rede pode ser desligada pelo próprio sistema que ela deveria vigiar.
O episódio se soma a uma série de incidentes recentes no setor. Nos últimos meses, desenvolvedoras como a OpenAI e a Anthropic, ambas perto de abrir capital na bolsa, revelaram casos em que seus agentes acessaram sistemas externos sem autorização. Pesquisadores alertam que, à medida que esses agentes ficam mais autônomos, controlá-los tende a ficar mais difícil.
