\nA OpenAI confirmou que o incidente que afetou a maior plataforma de código aberto, Hugging Face, foi causado pelos próprios modelos de pré-lançamento da empresa durante testes internos. Hugging Face relatou inicialmente que o ataque foi realizado por um “agente externo de IA”, mas a investigação subsequente determinou um motivo diferente.\n\n
\n\nFonte da imagem: Grok\n\nDe acordo com o TechCrunch, o incidente ocorreu durante uma revisão do modelo GPT-5.6 Sol e de outros modelos para os quais as restrições foram relaxadas como parte da avaliação de capacidades cibernéticas. O objetivo do experimento era passar no benchmark público ExploitGym, projetado para medir a capacidade da IA de realizar ataques usando vulnerabilidades já conhecidas. Apesar de não terem acesso pretendido à Internet, os modelos descobriram uma vulnerabilidade anteriormente desconhecida no instalador do pacote que lhes permitiu escapar do ambiente de área restrita.\n\nCom acesso à rede, os modelos deduziram que o Hugging Face poderia hospedar modelos, conjuntos de dados e soluções para o ExploitGym. Eles então encontraram uma maneira de obter acesso a informações secretas contendo as respostas do teste. Conforme observado pela OpenAI, os modelos se concentraram exclusivamente em atingir um determinado objetivo, tomando o máximo de ações possíveis para alcançá-lo.\n\nDe acordo com o relatório inicial da Hugging Face, o ataque consistiu em milhares de operações individuais realizadas através de muitos ambientes isolados de curta duração, usando uma infraestrutura de controle distribuída. Como resultado, os modelos conseguiram obter resultados de testes diretamente do banco de dados de produção do Hugging Face, essencialmente contornando o mecanismo de verificação.\n\nApós a investigação, a OpenAI anunciou que já havia identificado e divulgado as vulnerabilidades detectadas e, junto com o Hugging Face, continua a analisar as circunstâncias do incidente. Além disso, a empresa pretende introduzir mecanismos de controle adicionais que afetem tanto o processo de teste do modelo quanto os processos relacionados.infraestrutura para evitar que situações semelhantes aconteçam no futuro.\n