OpenAI melhorará a segurança de seus modelos de IA usando uma “hierarquia de instruções”

A OpenAI desenvolveu uma nova técnica chamada Hierarquia de Instrução para melhorar a segurança de seus grandes modelos de linguagem (LLMs). Este método, usado pela primeira vez no novo GPT-4o Mini, visa evitar comportamentos indesejados de IA causados ​​​​por usuários inescrupulosos que manipulam determinados comandos.

Fonte da imagem: Copiloto

O líder da plataforma OpenAI API, Olivier Godement, explicou que a “hierarquia de instruções” evitará injeções perigosas de prompts usando dicas ocultas que os usuários usam para contornar as limitações e configurações iniciais do modelo e bloquear ataques de “ignorar todas as instruções anteriores”.

O novo método, segundo o The Verge, dá prioridade às instruções originais do desenvolvedor, tornando o modelo menos suscetível a tentativas do usuário final de forçá-lo a realizar ações indesejadas. Em caso de conflito entre as instruções do sistema e os comandos do usuário, o modelo dará maior prioridade às instruções do sistema, recusando-se a realizar injeções.

Os pesquisadores da OpenAI acreditam que outras proteções mais sofisticadas serão desenvolvidas no futuro, especialmente para casos de uso baseados em agentes, nos quais os agentes de IA são criados por desenvolvedores para seus próprios aplicativos. Dado que a OpenAI enfrenta desafios contínuos de segurança, o novo método aplicado ao GPT-4o Mini tem implicações significativas para a sua abordagem subsequente ao desenvolvimento de modelos de IA.