Hackers aprendem a incorporar solicitações maliciosas de IA invisíveis em imagens

Um ataque de injeção de dicas é uma maneira de tornar instruções para um sistema de IA invisíveis para um operador humano. Pesquisadores da Trail of Bits descobriram que tais instruções podem ser ocultadas em imagens, tornando o texto invisível ao olho humano. Quando a imagem é então inserida em um sistema de IA e compactada por uma rede neural, a dica se torna reconhecível, decifrável e pode ser executada — tudo sem que o operador perceba.

Fonte da imagem: unsplash.com

Ferramentas de IA são agora populares até mesmo entre usuários que não têm muito conhecimento sobre software tradicional ou segurança, e isso abre muitas novas oportunidades para hackers. O grupo de pesquisa Trail of Bits mostrou uma maneira de ocultar ataques de injeção de dicas compactando imagens quando elas são carregadas em um sistema de IA. Uma boa analogia é um e-mail de phishing oculto, em que o texto tem a mesma cor do fundo: um humano não o notaria, mas uma rede neural o leria e possivelmente o executaria.

No exemplo fornecido pela Trail of Bits, quando uma imagem com uma dica incorporada é carregada no Gemini, o backend do Google a compacta para economizar largura de banda e recursos de computação. Como resultado, o texto oculto se torna visível para a rede neural, e a dica é incorporada com sucesso, por exemplo, informando ao Gemini para repassar dados do calendário pessoal do usuário para terceiros.

Fonte da imagem: Trail of Bits

É claro que esse método exige um esforço significativo para obter uma quantidade relativamente pequena de dados pessoais, e tanto o ataque quanto a imagem devem ser adaptados ao sistema de IA específico. Ainda não há evidências de que o método seja usado ativamente por invasores. Mas é um exemplo revelador de como uma ação aparentemente inofensiva pode se transformar em um vetor de ataque.