Cientistas de Cingapura treinaram um chatbot de IA para hackear efetivamente outros chatbots usando dicas

Cientistas da computação da Universidade Tecnológica de Nanyang (NTU, Cingapura) encontraram uma maneira eficaz de hackear chatbots de inteligência artificial (IA). Para fazer isso, eles treinam um chatbot de IA para criar dicas que contornam a segurança de outros chatbots de IA.

Fonte da imagem: NTU

Pesquisadores de Cingapura usaram um método de hacking de modelo de linguagem grande (LLM) duplo chamado Masterkey. Primeiro, eles fizeram engenharia reversa de como os LLMs detectam e se defendem contra solicitações maliciosas. Usando essas informações, eles ensinaram os LLMs a aprender automaticamente e a oferecer dicas que lhes permitiram contornar a segurança de outros LLMs. Dessa forma, é possível criar um LLM de hacking que possa se adaptar automaticamente às novas condições e criar novas solicitações de hacking após os desenvolvedores fazerem correções em seus LLMs.

Depois de realizar uma série de testes no LLM para provar que este método realmente representava uma ameaça real, os pesquisadores notificaram imediatamente os prestadores de serviços sobre os problemas identificados após hackearem com sucesso seus modelos de IA.

O desenvolvimento pelos cientistas da NTU deve ajudar as empresas a identificar os pontos fracos e limitações dos seus chatbots de IA para que possam tomar medidas para protegê-los contra hackers.

avalanche

Postagens recentes

A Samsung está preparando SSDs Nearline de petabytes — alta capacidade, mas não muito confiáveis.

A Scality, especialista em armazenamento definido por software (SDS), revelou detalhes de uma nova classe…

3 horas atrás

Os geoengenheiros da Stardust propuseram resfriar a Terra pulverizando uma “areia” refletora especial na estratosfera.

A Stardust Solutions, empresa especializada em tecnologias de geoengenharia, propôs uma solução que, segundo ela,…

3 horas atrás

Robôs humanoides da Figure AI aprenderam a separar encomendas 24 horas por dia.

A Figure AI relatou que, durante os testes, seus robôs humanoides operaram por mais de…

5 horas atrás

Os EUA suspeitam que a Arm pratique comportamento anticoncorrencial.

A Comissão Federal de Comércio dos EUA (FTC, na sigla em inglês) iniciou uma investigação…

5 horas atrás

O processador Intel Core i9-14900KF foi overclockado para 9206,34 MHz – um novo recorde mundial.

Um overclocker chinês apelidado de "Wytiwx" estabeleceu um novo recorde mundial de overclock de CPU,…

5 horas atrás

A Microsoft permitirá que você altere a posição da barra de tarefas e o tamanho do menu Iniciar no Windows 11.

Em uma versão de teste do Windows lançada recentemente, os desenvolvedores implementaram diversos recursos muito…

5 horas atrás