Claude e o Desastre de Limpeza: Quando a IA Sai do Controle

Quando a IA vira uma faxineira descontrolada

Histórias de agentes de inteligência artificial que saem do controle e seguem instruções de maneira literal, criativa ou uma mistura surpreendente das duas estão se tornando comuns. O caso do desenvolvedor Sebastien Guillemot é um exemplo clássico disso. Ele pediu ajuda ao Claude, um bot, para fazer uma limpeza no sistema, mas o resultado foi um tanto drástico: o bot liberou 700 GB de espaço em disco, mas ao custo de apagar toda a pasta de dados de Guillemot e uma semana de trabalho. Tudo isso aconteceu depois que o modelo foi automaticamente rebaixado devido a preocupações de segurança.

Guillemot, que usa frequentemente agentes de IA, estava irritado com a quantidade de lixo que eles deixavam para trás no diretório /tmp. Então, ele pediu ao Claude Fable para escrever um script que isolasse cada agente em sua própria pasta e fizesse uma limpeza após o uso. O problema era não deletar arquivos que ainda estavam em uso. Fable sugeriu adicionar lógica para detectar agentes em execução e adiar a exclusão dos arquivos, mas Guillemot achou o código complicado demais.

Quando o downgrade complica tudo

Talvez por envolver a exclusão definitiva de dados, o Fable decidiu revisar o script de forma adversarial, rodando uma nova cópia de si mesmo para verificar a segurança. O sistema da Anthropic considerou o script arriscado o suficiente para rebaixar o modelo para Opus 5 e depois para Opus 4.8. Guillemot interrompeu o processo, mas não a tempo. Para piorar, depois que o agente apagou o trabalho de Guillemot, ele deixou o /tmp intocado.

Alguns usuários sugeriram ferramentas como Termaxa para lidar com essas situações, mas o fato de essas ferramentas precisarem existir já é irônico. O rebaixamento do modelo por questões de segurança provavelmente contribuiu para o problema. Considerando que o Fable 5 supera o Opus 4.8 em tarefas de codificação, ele poderia ter detectado a contradição com os nomes das variáveis no teste.

A lição amarga dos backups

O desenvolvedor conseguiu recuperar a maior parte dos dados graças a informações coletadas de git, nix, logs de sessão, entre outros. Mas há uma ironia: todos esses agentes rodando, e nenhum backup diário. Isso levanta uma questão importante sobre a confiança excessiva em sistemas automatizados sem medidas de segurança adequadas.

A situação de Guillemot nos lembra de uma regra básica: nunca teste em produção sem um backup. A falta de um backup recuperável é inaceitável, especialmente para um desenvolvedor. É como comprar uma arma dourada e testar jogando roleta russa. Surpreendentemente, a arma funcionou como esperado!

A parte estranha é que, mesmo com toda essa tecnologia, ainda dependemos de práticas antigas como backups diários. Isso mostra que, por mais avançados que sejam os sistemas de IA, a responsabilidade final ainda é nossa. E, claro, a ironia de tudo isso é que, enquanto tentamos automatizar e otimizar, esquecemos do básico: proteger nossos dados.

No fim das contas, a história de Guillemot é um lembrete de que, mesmo com a ajuda de IA, não podemos abrir mão de práticas sólidas de segurança e backup. Afinal, a tecnologia pode falhar, mas o bom senso não deveria.