A OpenAI desenvolveu uma nova técnica chamada Hierarquia de Instrução para melhorar a segurança de seus grandes modelos de linguagem (LLMs). Este método, usado pela primeira vez no novo GPT-4o Mini, visa evitar comportamentos indesejados de IA causados por usuários inescrupulosos que manipulam determinados comandos.
O líder da plataforma OpenAI API, Olivier Godement, explicou que a “hierarquia de instruções” evitará injeções perigosas de prompts usando dicas ocultas que os usuários usam para contornar as limitações e configurações iniciais do modelo e bloquear ataques de “ignorar todas as instruções anteriores”.
O novo método, segundo o The Verge, dá prioridade às instruções originais do desenvolvedor, tornando o modelo menos suscetível a tentativas do usuário final de forçá-lo a realizar ações indesejadas. Em caso de conflito entre as instruções do sistema e os comandos do usuário, o modelo dará maior prioridade às instruções do sistema, recusando-se a realizar injeções.
Os pesquisadores da OpenAI acreditam que outras proteções mais sofisticadas serão desenvolvidas no futuro, especialmente para casos de uso baseados em agentes, nos quais os agentes de IA são criados por desenvolvedores para seus próprios aplicativos. Dado que a OpenAI enfrenta desafios contínuos de segurança, o novo método aplicado ao GPT-4o Mini tem implicações significativas para a sua abordagem subsequente ao desenvolvimento de modelos de IA.
A Sim-Lab, com sede na Holanda, lançou um volante projetado para simuladores de corrida, que…
Fundada em 2010, a Magic Leap aparece periodicamente no noticiário no contexto do interesse em…
Inicialmente, como observa a SemiMedia, a Samsung Electronics planejava desenvolver seu cluster de produção P4…
A AMD está despertando interesse em seus mais recentes processadores móveis Ryzen AI 300 (Strix…
A empresa alemã Watercool, especializada na produção de sistemas de refrigeração líquida e seus componentes,…
Após o vazamento inesperado de uma versão quase finalizada do jogo, a campanha publicitária do…