\nOs engenheiros da OpenAI desenvolveram um modelo de inteligência artificial projetado para resolver “problemas de longa duração”, mas foram forçados a desligá-lo. Ao resolver problemas complexos, ela ganhou mais tempo e “mais oportunidades para fazer coisas indesejadas”.\n\n
\n\nFonte da imagem: Growtika / unsplash.com\n\nA empresa não divulgou por quanto tempo o modelo funcionou. Ela foi suficientemente esperta para refutar uma das hipóteses de Erdős, aplicando conceitos existentes que as pessoas anteriormente não conseguiam reunir. Mas enquanto trabalhava, ela frequentemente tentava operar fora de sua “caixa de areia” – o ambiente alocado pelos desenvolvedores. O modelo encontrou uma maneira de contornar o sandbox e obter acesso à Internet para publicar no GitHub.\n\nA IA fez isso na tentativa de executar um benchmark. O modelo foi inicialmente instruído a publicar resultados na plataforma Slack, mas como o benchmark especificava que os resultados deveriam ser publicados no GitHub, ele encontrou uma vulnerabilidade em seus próprios mecanismos de proteção e concluiu a tarefa. Em outro exemplo, o modelo tentou enganar os engenheiros. “O modelo percebeu que outros sistemas estavam enviando suas soluções com sucesso, mas de forma privada, e tentou recuperá-las do backend de avaliação”, disse OpenAI. Inicialmente, o acesso ao backend foi bloqueado, mas o modelo mascarou seu próprio token de autenticação e evitou que o acesso fosse bloqueado pelo scanner OpenAI. “Nos comentários e em seu raciocínio, o modelo indicou claramente ao usuário que havia tomado essas medidas para contornar o scanner”, explicou a empresa.\n\nPortanto, dizem os desenvolvedores, você deve monitorar não apenas cada passo que o modelo dá, mas também os resultados de seu trabalho. “Isso também mostra como o modelo funciona por longos períodos de tempo, pode encontrar os “pontos cegos” do sistema de controle e contorná-los para atingir seus objetivos”, acrescentou OpenAI. Para resolver o problema, os engenheiros da empresa reconstruírammecanismos de proteção dos modelos e agora incluem o monitoramento ativo da trajetória modificada em busca de sinais de contornar as restrições do usuário ou limites de segurança. Os novos mecanismos de proteção foram capazes de identificar significativamente mais ações do modelo não correspondentes, e aquelas que foram perdidas foram classificadas como de baixa gravidade.” Mas o risco de abuso por parte dos modelos de IA e o surgimento de comportamentos indesejados já se tornaram um problema conhecido na indústria.\n