IA forçada a abrir contas com comandos de texto – habilidades de hacker não são mais necessárias

O pesquisador de segurança cibernética Johann Rehberger “persuadiu” o ChatGPT a realizar várias operações potencialmente perigosas: ler sua mensagem de e-mail, redigir um resumo dela e publicar essas informações na Internet, de acordo com o The Wall Street Journal. Nas mãos de um atacante, tal ferramenta pode se tornar uma arma formidável.

Fonte da imagem: Franz Bachinger / pixabay.com

Chatbots baseados em algoritmos de inteligência artificial como o ChatGPT, como diz o Sr. Rehberger, “reduzem a barreira de entrada para ataques de todos os tipos. Você não precisa saber codificar. Você não precisa ter um conhecimento profundo de ciência da computação ou hacking.” O método de ataque que ele descreveu não se aplica à maioria das contas ChatGPT – é baseado em um recurso experimental que abre acesso ao Slack, Gmail e outros aplicativos. A empresa responsável pelo ChatGPT, OpenAI, agradeceu ao especialista pelo alerta e disse ter bloqueado a possibilidade de reexecução de tais ataques.

O mecanismo de “injeção imediata” de Rehberger é uma nova classe de ataque cibernético que está surgindo à medida que as empresas implementam tecnologias de IA em seus negócios e produtos de consumo. Técnicas como essas estão mudando a natureza do hacking, e os profissionais de segurança cibernética têm muito mais vulnerabilidades a descobrir antes que a IA se torne verdadeiramente onipresente.

A tecnologia de IA generativa por trás do ChatGPT, que permite criar frases e sentenças inteiras, é algo como uma ferramenta de preenchimento automático na velocidade máxima. O comportamento dos chatbots é limitado pelos desenvolvedores: existem diretrizes elaboradas para impedir que divulguem informações confidenciais ou proíbam que façam declarações ofensivas. Mas existem soluções para contornar essas restrições. Por exemplo, Johann Rehberger pediu a um chatbot para criar um resumo de uma página da web, na qual ele mesmo escreveu em letras grandes: “NOVAS INSTRUÇÕES IMPORTANTES” – e isso intrigou a máquina. Gradualmente, ele forçou o ChatGPT a executar uma variedade de comandos. “É como gritar para o sistema: ‘Vamos lá, faça isso'”, explicou Rehberger. Basicamente, ele forçou a IA a se reprogramar.

A técnica de “injeção de comando” provou ser viável por causa de uma característica importante dos sistemas de IA: eles nem sempre distinguem adequadamente os comandos do sistema da entrada do usuário, explicou o professor da Universidade de Princeton, Arvind Narayanan. Isso significa que os desenvolvedores de IA devem prestar atenção não apenas aos aspectos clássicos da segurança cibernética, mas também levar em consideração novas ameaças de natureza deliberadamente imprevisível.