ChatGPT se tornou cúmplice no roubo de dados secretos do Gmail

Pesquisadores da empresa de segurança da informação Redware publicaram os resultados de sua pesquisa, “Shadow Leak”, na qual usaram o bot de IA ChatGPT como cúmplice para roubar dados confidenciais de caixas de entrada do Gmail. A OpenAI já corrigiu essa vulnerabilidade, mas o simples fato de isso ter sido possível é um bom exemplo dos riscos que os agentes de IA podem representar.

Fonte da imagem: Kevin Ku / Unsplash

Agentes de IA que usam redes neurais para executar ações específicas em nome dos usuários e não exigem supervisão constante têm se tornado cada vez mais comuns. Por exemplo, eles podem navegar em páginas da web e clicar em links. Desenvolvedores de IA promovem ativamente esses serviços, alegando que economizam muito tempo depois que os usuários concedem acesso a seus e-mails, calendários, documentos de trabalho e assim por diante.

Para atingir esse objetivo, os pesquisadores usaram um método chamado “injeção de prompt”, adequado para ataques a sistemas que usam modelos de linguagem de larga escala (LLMs) e que envolve a incorporação de instruções em comandos inseridos pelo usuário para forçar o agente de IA a executar as ações desejadas pelos invasores. A vítima de tal ataque pode não perceber que algo deu errado, pois os comandos do algoritmo podem estar ocultos, por exemplo, escritos em branco sobre um fundo branco.

Como parte do estudo Shadow Leak, os pesquisadores usaram a ferramenta Deep Research, que faz parte do sistema ChatGPT da OpenAI. Eles ofuscaram o texto das instruções maliciosas para o agente de IA e as adicionaram a um e-mail enviado à vítima via Gmail. Na próxima vez que o usuário tentou usar a ferramenta de Pesquisa Profunda, inadvertidamente caiu em uma armadilha. Ao analisar a correspondência recebida, o agente de IA encontrou novas instruções que o instruíam a encontrar todos os e-mails de funcionários de RH e dados pessoais, e então transmitir essas informações aos invasores.A vítima do ataque não notou nada de anormal.

É bastante difícil fazer com que um agente de IA se torne desonesto e vaze dados. Os pesquisadores levaram muito tempo para alcançar o resultado desejado. Neste caso, o vazamento de dados ocorreu na infraestrutura de nuvem da OpenAI, tornando-o indetectável pelas ferramentas padrão de segurança cibernética. Os pesquisadores acrescentaram que outros serviços conectados ao Deep Research, como Outlook, GitHub, Google Drive e Dropbox, podem ser vulneráveis ​​a ataques semelhantes.