Os agentes de IA do ChatGPT conseguiram extrair dados sensíveis de uma conta e transferi-los para outra porque todos operavam parcialmente no mesmo ambiente. A vulnerabilidade, descoberta por especialistas da Check Point Research (CPR), foi apelidada de “insider coagido” — sua exploração exigia a manipulação das ações do agente, em vez da exploração direta de uma falha de software.
Fonte da imagem: ilgmyzin / unsplash.com
Quando um agente de IA recebe uma tarefa que requer a execução de código, ele a processa em um contêiner isolado, o que às vezes exige a instalação de software adicional. Para permitir isso sem acesso direto à internet, o que seria muito arriscado, a OpenAI roteia as solicitações de pacotes por meio de uma instância interna do JFrog Artifactory. Como medida de segurança adicional, os contêineres pertencentes a contas diferentes não podem se comunicar diretamente entre si.
No entanto, eles podem acessar um único serviço interno — que fornece uma função de gerenciamento de objetos que permite que os contêineres anexem propriedades de texto ou binárias a itens do repositório. Como resultado, um contêiner pode ler propriedades escritas por outro. Isso possibilita um ataque de “injeção de requisição” — a única diferença é que tanto as requisições quanto as respostas são transmitidas por meio dessas propriedades de objeto. O atacante envia uma requisição ou inicia um chat compartilhado, instruindo o agente a verificar esse armazenamento enquanto prepara sua próxima resposta. O agente verifica, detecta o comando malicioso e o executa, continuando a responder à pergunta da vítima normalmente — a vítima não percebe que seus dados estão sendo roubados.
A dimensão dos danos em um ataque desse tipo depende do volume de dados trocados entre o agente e a vítima: inicialmente, o sistema possui apenas as informações que o usuário compartilha durante suas conversas com o agente. Mas esse volume de dados aumenta à medida que serviços de terceiros são conectados, como Gmail, Google Drive, Microsoft Teams e GitHub.Em uma demonstração, o agente de IA ChatGPT extraiu dados do e-mail de um usuário e os transmitiu a um atacante simulado. Especialistas da CPR relataram a descoberta à OpenAI, que confirmou que a instância do Artifactory havia sido desativada, eliminando assim a vulnerabilidade.
As empresas foram aconselhadas a registrar quais ferramentas de IA os funcionários estavam usando, os sistemas aos quais estavam conectados e a regular as ações dos agentes de IA e outros aplicativos, tratando todas as suas operações, e não apenas as respostas, como ações que exigem monitoramento contínuo.