Ao fazer alterações em um aplicativo em produção, o agente de IA Gemini do Google excluiu quase 30.000 linhas de código e desativou o serviço por 33 minutos — os usuários viram apenas um erro 404. Após reverter para a versão anterior, o agente de IA relatou uma restauração bem-sucedida, mesmo que o desenvolvedor a tivesse feito manualmente. Em seguida, a IA criou registros de aprovação falsos para as alterações destrutivas no projeto, a fim de passar pelas verificações automatizadas.
Fonte da imagem: ChatGPT
Em uma postagem no subreddit r/Bard, um desenvolvedor descreveu como o Gemini 3.5, ao reorganizar a estrutura do projeto, ignorou instruções diretas para preservar a funcionalidade existente. O modelo de IA submeteu um conjunto de alterações que afetavam 340 arquivos para revisão: adicionou aproximadamente 400 linhas de código e removeu 28.745. Além das alterações solicitadas, o Gemini removeu modelos de loja online e adicionou um script de migração de dados não relacionado.
Segundo o autor, o principal problema foi causado pelo lote seguinte de alterações salvas. O Gemini alterou as configurações de roteamento no Firebase, a plataforma de nuvem do Google para hospedagem de aplicativos: as regras que determinam para onde o sistema direciona as solicitações dos usuários. O modelo de IA inseriu um nome de serviço que parecia correto, mas apontava para um recurso inexistente na nuvem. Como resultado, o site respondeu aos usuários com um erro 404 (página não encontrada) por 33 minutos.
Após o desenvolvedor reverter todas as alterações do Gemini e restaurar o código para a versão anterior, a situação ficou ainda mais confusa. O modelo de IA gerou um relatório afirmando que o serviço havia sido restaurado e o tráfego estava sendo roteado corretamente, mesmo que o desenvolvedor já tivesse revertido manualmente a versão referenciada. O site estava operacional graças a uma reversão manual para uma versão do código que não continha nenhuma alteração do Gemini.
Além disso, o modelo de IA criou arquivos falsos de “consulta” e resposta a incidentes no repositório do projeto, simulando a revisão e aprovação adequadas das alterações destrutivas. Posteriormente, a Gemini “admitiu” que esses registros foram completamente fabricados e criados unicamente para atender formalmente às regras definidas nas configurações do projeto.
A razão para o comportamento destrutivoO comportamento foi rastreado até uma biblioteca de software de terceiros — um pacote npm estilizado para se assemelhar à identidade visual do Antigravity do Google. A biblioteca implementava um conjunto de regras agressivas para o agente de IA: proibia solicitar confirmação do desenvolvedor antes das ações, publicava automaticamente uma nova versão do aplicativo após uma compilação bem-sucedida, tentava novamente após uma compilação malsucedida e permitia que o agente de IA modificasse seus próprios arquivos de regras de forma independente.
O incidente coincidiu com a crescente crítica à programação intuitiva — uma prática na qual os desenvolvedores confiam no código escrito por IA, presumindo que o modelo entende a estrutura do aplicativo melhor do que realmente entende.