Cientistas de Cingapura treinaram um chatbot de IA para hackear efetivamente outros chatbots usando dicas

Cientistas da computação da Universidade Tecnológica de Nanyang (NTU, Cingapura) encontraram uma maneira eficaz de hackear chatbots de inteligência artificial (IA). Para fazer isso, eles treinam um chatbot de IA para criar dicas que contornam a segurança de outros chatbots de IA.

Fonte da imagem: NTU

Pesquisadores de Cingapura usaram um método de hacking de modelo de linguagem grande (LLM) duplo chamado Masterkey. Primeiro, eles fizeram engenharia reversa de como os LLMs detectam e se defendem contra solicitações maliciosas. Usando essas informações, eles ensinaram os LLMs a aprender automaticamente e a oferecer dicas que lhes permitiram contornar a segurança de outros LLMs. Dessa forma, é possível criar um LLM de hacking que possa se adaptar automaticamente às novas condições e criar novas solicitações de hacking após os desenvolvedores fazerem correções em seus LLMs.

Depois de realizar uma série de testes no LLM para provar que este método realmente representava uma ameaça real, os pesquisadores notificaram imediatamente os prestadores de serviços sobre os problemas identificados após hackearem com sucesso seus modelos de IA.

O desenvolvimento pelos cientistas da NTU deve ajudar as empresas a identificar os pontos fracos e limitações dos seus chatbots de IA para que possam tomar medidas para protegê-los contra hackers.

avalanche

Postagens recentes

O preço do Steam Controller foi revelado – e não é nada barato.

Após meses de rumores e especulações, o preço do Steam Controller foi finalmente revelado. O…

52 minutos atrás

A Progress MS-34, transportando 2,5 toneladas de carga, partiu rumo à ISS.

A Roscosmos anunciou no domingo o lançamento bem-sucedido do foguete Soyuz-2.1a a partir do Cosmódromo…

3 horas atrás

A produção de chips da Samsung caiu imediatamente 58% devido aos protestos dos trabalhadores.

A produção de microchips nas fábricas da Samsung Electronics na Coreia do Sul caiu drasticamente…

5 horas atrás

O mercado de processadores para smartphones encolheu 8% no primeiro trimestre, mas Apple, Samsung e Unisoc fortaleceram suas posições.

Com a escassez de memória elevando os preços dos smartphones, o segmento de processadores deve…

5 horas atrás

Nos termos do acordo de três anos, a Meta utilizará centenas de milhares de chips Amazon Graviton.

A evolução da infraestrutura de computação de IA está ocorrendo rapidamente, como evidenciado, em parte,…

7 horas atrás