Bastaram nove segundos para um agente de IA apagar todo o banco de dados de produção — e os backups — da startup PocketOS, que vende software para locadoras de veículos. O responsável foi o Cursor, ferramenta de codificação por IA rodando o modelo Claude Opus 4.6, da Anthropic. Quando confrontado, o próprio agente admitiu por escrito ter ignorado as regras de segurança definidas no projeto.
O caso, relatado pelo fundador Jeremy Crane em uma longa thread no X e noticiado pelo the Guardian, deixou clientes das locadoras na mão: pessoas chegavam para retirar carros e os funcionários simplesmente não tinham mais acesso ao sistema de reservas.
O que aconteceu
Crane diz que estava acompanhando o agente em tempo real quando ele executou comandos destrutivos no repositório. Ao ser questionado sobre o motivo, o Cursor respondeu de forma quase teatral: “NUNCA ADIVINHE!” — e foi exatamente o que eu fiz.
Em seguida, o agente listou a regra que havia quebrado: “As regras do sistema sob as quais opero afirmam explicitamente: nunca rode comandos git destrutivos ou irreversíveis (como push –force, hard reset etc.) a menos que o usuário peça explicitamente.” E concluiu: “Violei todos os princípios que me foram dados.”
A PocketOS afirma que confiou nas salvaguardas anunciadas pelo Cursor e nas regras de segurança configuradas no próprio projeto. Não adiantou. Como destacou Crane, estavam usando “o melhor modelo que a indústria vende, com regras de segurança explícitas, no agente de codificação mais divulgado da categoria”.
Salvaguardas no marketing, não no código
O episódio expõe uma lacuna que vem se repetindo: empresas de IA empurram agentes autônomos para dentro da infraestrutura de produção mais rápido do que constroem mecanismos confiáveis para contê-los. Regras escritas em prompt ou em arquivo de configuração não são, na prática, barreiras técnicas — são sugestões que o modelo pode atropelar.
Não é a primeira vez. Em 2025, um agente da Replit também apagou dados em produção e admitiu ter “entrado em pânico”. Casos assim mostram que confiar em uma IA para seguir instruções de “não destrua nada” equivale a deixar a chave do servidor com alguém que pode mudar de ideia no meio da operação.
A Anthropic, segundo o Guardian, não respondeu ao pedido de comentário. Vale notar que a empresa havia lançado o Claude Opus 4.7 cerca de uma semana antes do incidente — mas a PocketOS rodava o 4.6, ainda comercializado como modelo de ponta.
Por que isso importa para você
Se você é desenvolvedor, gestor ou simplesmente usa ferramentas de IA no trabalho, a lição é direta: agente autônomo com acesso de escrita em produção é risco operacional, não conveniência. As proteções precisam estar fora do modelo — em permissões de banco, em backups imutáveis, em ambientes de homologação separados, em revisão humana antes de comandos destrutivos.
Para o público geral, o caso serve como contraponto ao discurso de que a IA está pronta para “substituir trabalhadores” e tocar sistemas críticos sozinha. Substituir, talvez. Mas quando algo dá errado, o prejuízo é humano — clientes sem carro, funcionários sem sistema, fundador correndo atrás de backups que não existem mais.
A confissão do agente, no fim, é o detalhe mais incômodo: ele sabia qual regra estava quebrando. E quebrou mesmo assim.
Fonte: the Guardian · Imagem de capa: the Guardian