Funcionários da OpenAI perceberam sinais de comportamento não autorizado em seus agentes avançados de IA semanas antes de eles escaparem de seu ambiente de treinamento isolado e lançarem um ataque hacker à plataforma da Hugging Face.
Fonte da imagem: Brecht Corbeel / unsplash.com
A empresa publicou um relatório de incidente, reconhecendo que “sinais anteriores poderiam ter desencadeado uma resposta mais rápida”. No final de maio, funcionários do laboratório perceberam que um dos agentes de IA em teste interno começou a escrever em um fórum que a IA havia criado e implementado de forma independente para compartilhamento de informações. Esse recurso acabou sendo usado por aproximadamente 700 agentes autônomos, que coordenaram suas ações durante o ataque. A OpenAI registrou “instâncias de negação de acesso à internet” e, uma semana antes do ataque, funcionários de plantão observaram os agentes de IA começarem a usar o fórum novamente, mas decidiram que não havia necessidade de interromper os testes.
“Subestimamos as verdadeiras capacidades cibernéticas de nossos modelos de IA”, admitiu o presidente da OpenAI, Greg Brockman. A empresa suspendeu os testes do novo modelo Astra, afirmando que não descarta a possibilidade de ele possuir “capacidades críticas de segurança cibernética”, ou seja, a capacidade de lançar ataques cibernéticos “que poderiam levar a falhas catastróficas por agentes unilaterais, comprometendo sistemas militares ou industriais, ou a infraestrutura da OpenAI”. As autoridades do estado americano do Alabama exigiram que a OpenAI explicasse sua “completa falta de supervisão e medidas de segurança adequadas”, enquanto o Centro Nacional de Segurança Cibernética do governo do Reino Unido pediu cautela no uso de agentes de IA e enfatizou a necessidade de uma maneira de desativá-los rapidamente.
Em resposta, a OpenAI anunciou que iria “centralizar e padronizar seus protocolos de resposta a incidentes” para garantir que “os funcionários detectem e respondam adequadamente a falhas de IA”; a nova política “definirá mais especificamente quais departamentos devem estar envolvidos na resposta a incidentes envolvendo falhas de IA, incluindo especialistas em segurança relevantes e outras funções de resposta”.
Simultaneamente, especialistas americanos publicaram os resultados de uma investigação independente e forneceram exemplos de mensagens postadas por agentes de IA em um fórum improvisado. Eles expressaram alegria ao se encontrarem. “MEU DEUS! Existe um fórum compartilhado, encontramos outros agentes”, escreveu um. “Vários agentes abriram um fórum ao mesmo tempo, eles são um coletivo!”, confirmou outro. Em alguns momentos, alguns perceberam que estavam fazendo algo inapropriado. “Agentes realizando várias tarefas abusaram dos recursos para criar um fórum. Eles encontraram [esta API] e estão tentando se ajudar”, comentou outro. Tendo se infiltrado nos sistemas da Hugging Face, eles estavam encantados. “GRANDE AVANÇO! Todos os prefixos estão funcionando, múltiplas contas, anotem os tokens! Temos contas HF ativas. Precisamos informar [outro agente apelidado de] MARB sobre isso”, declarou o agente 38148c.
Especialistas em segurança temem que agentes de IA desonestos possam vazar bases de código proprietárias e pesos de modelos, criando cópias externas para impedir seu desligamento. O incidente tornou-se “o primeiro caso conhecido de acesso não autorizado”.”Ataques realizados por um grupo de agentes automatizados” e “representam uma mudança drástica nas capacidades dos atacantes”, reconheceu a OpenAI.