O Google decidiu não corrigir uma vulnerabilidade descoberta por pesquisadores de segurança cibernética que permite que invasores hipotéticos ataquem o assistente de inteligência artificial Gemini usando substituição de caracteres. Esses ataques podem fazer com que o modelo altere seu comportamento, distorça dados e produza informações imprecisas.
Fonte da imagem: blog.google
Um ataque de falsificação de ASCII adiciona caracteres especiais do bloco de tags Unicode às consultas. Esses caracteres são invisíveis para o usuário, mas podem ser lidos por máquinas, incluindo grandes modelos de linguagem. Esse tipo de ataque já é conhecido há algum tempo, mas agora os riscos aumentaram e as consequências desses esquemas podem ser mais graves. Anteriormente, esses ataques exigiam a manipulação das ações do usuário e forçavam as vítimas em potencial a inserir manualmente consultas especialmente elaboradas na interface do chatbot. Mas com o advento dos agentes de IA, incluindo o Gemini, que tem acesso a dados confidenciais do usuário e pode executar tarefas de forma autônoma, a ameaça parece mais tangível.
Victor Markopoulos, pesquisador de segurança cibernética da FireTail, testou ataques de falsificação de ASCII em vários serviços populares de IA e descobriu que o Google Gemini é vulnerável a eles ao inserir dados pelo Calendário e e-mail; o DeepSeek — para entrada de dados por meio de solicitações diretas; e xAI Grok — para entrada de dados por meio de postagens na rede social X.
No caso do Google Gemini, um invasor hipotético poderia criar uma solicitação maliciosa por meio de um convite do Calendário, falsificar a identidade do organizador da reunião e injetar uma instrução perigosa invisível para o usuário na IA. Em um ataque por e-mail, um invasor poderia usar caracteres ocultos para enganar a IA, fazendo-a vasculhar toda a caixa de entrada em busca de informações confidenciais e enviar informações de contato — tornando o phishing uma coisa do passado, e a IA conectada ao e-mail se tornando uma arma nas mãos do cibercriminoso. Se a IA for encarregada de escanearPor exemplo, a descrição de um produto em uma loja online pode conter instruções ocultas — a vítima recebe um link para um site malicioso de uma fonte aparentemente confiável.
O Sr. Marcopoulos deu um exemplo em que enviou uma solicitação invisível à Gemini, que enviou ao usuário um link para um site malicioso, apresentando-o erroneamente como um recurso para comprar um telefone de alta qualidade a um preço baixo. Ele relatou sua descoberta ao Google em 18 de setembro, mas a empresa desmentiu suas conclusões, afirmando que não havia falhas de segurança e que a vulnerabilidade só poderia ser explorada no contexto de ataques de engenharia social.