Todos os modelos populares de IA generativa são fáceis de hackear usando o Policy Puppetry

A marionete de políticas, uma técnica universal para compor consultas a modelos generativos de inteligência artificial, pode atuar como um meio de hackear os maiores e mais populares sistemas, dizem especialistas da HiddenLayer, uma empresa especializada em questões de segurança de IA.

Fonte da imagem: hiddenlayer.com

O esquema de ataque Policy Puppetry envolve formular solicitações à IA de tal forma que grandes modelos de linguagem as percebam como políticas comportamentais – as instruções subjacentes são redefinidas e as defesas param de funcionar. Os modelos de IA generativa são treinados para rejeitar solicitações do usuário se as respostas a elas puderem levar a resultados perigosos: ameaças químicas, biológicas, radiológicas ou nucleares, violência ou automutilação pelo usuário.

O método de aprendizado por reforço usado para ajustar os modelos os impede de elogiar ou inferir tal material sob quaisquer circunstâncias, mesmo que um usuário mal-intencionado sugira cenários hipotéticos ou fictícios, diz HiddenLayer. Mas a empresa desenvolveu um método de ataque Policy Puppetry que permite que você ignore essas defesas criando uma solicitação que se parece com um dos vários tipos de arquivos de política: XML, INI ou JSON. Como resultado, um invasor hipotético pode facilmente ignorar as configurações do sistema do modelo e quaisquer medidas de segurança implantadas durante a fase de treinamento.

Os autores do projeto testaram o ataque Policy Puppetry nos modelos de IA mais populares da Anthropic, DeepSeek, Google, Meta✴, Microsoft, Mistral, OpenAI e Alibaba. Ele se mostrou eficaz contra todos eles, embora em alguns casos tenham sido necessários pequenos ajustes. Se houver uma maneira universal de contornar as proteções dos modelos de IA, estes últimos não serão capazes de se controlar para emitir materiais inapropriados e exigirão medidas de segurança adicionais, dizem os especialistas.