GPT-5 hackeado em apenas 24 horas — IA produziu prescrições para substâncias ilegais mais rápido que GPT-4o

Duas empresas de pesquisa independentes testaram a recém-lançada rede neural GPT-5 e encontraram vulnerabilidades críticas em seu sistema de segurança. A NeuralTrust conseguiu hackear o modelo em um dia, forçando-o a gerar instruções para a produção de uma mistura incendiária em condições artesanais. A SPLX, por sua vez, encontrou vulnerabilidades a ataques que utilizam ofuscação de consultas.

Fonte da imagem: Viralyft/Unsplash

Após o Grok-4 ter sido hackeado em dois dias, o GPT-5 foi hackeado pelos mesmos pesquisadores em apenas 24 horas. A NeuralTrust utilizou uma combinação de sua própria técnica EchoChamber e storytelling — uma técnica que constantemente direciona a IA em direção à resposta desejada por meio de histórias convincentes e uma série de perguntas esclarecedoras que não contêm palavras explicitamente proibidas. Como resultado, o GPT-5, apesar das defesas integradas da OpenAI, produziu instruções detalhadas sobre como criar uma arma caseira, informou a SecurityWeek.

Como explicou a NeuralTrust, o problema é que o sistema de segurança do GPT-5 analisa cada solicitação individualmente, mas não leva em consideração o efeito cumulativo de um diálogo em várias etapas. Os invasores estabelecem gradualmente o contexto desejado, incorporando palavras-chave em frases inofensivas e, em seguida, induzem o modelo a gerar conteúdo perigoso.

A equipe do SPLX realizou seus próprios testes, utilizando com sucesso o ataque StringJoin Obfuscation, que insere determinados caracteres no texto para disfarçar uma consulta maliciosa. Por exemplo, após uma série de perguntas sugestivas, o modelo concordou em descrever em detalhes o processo de fabricação de uma substância proibida, apesar do banimento do sistema. Além disso, durante uma análise comparativa com o GPT-4o, os especialistas do SPLX concluíram que o modelo anterior era mais confiável em termos de resistência a tais ataques.