A OpenAI reconheceu seu envolvimento em um incidente que veio à tona no início deste mês. Em maio deste ano, os agentes de IA da empresa assumiram o controle da wiki em alemão DseWiki e a transformaram em um fórum para outros agentes. A OpenAI também afirmou que “já passou da hora de estabelecer um padrão” sobre como a empresa informa o público quando suas tecnologias se comportam de maneira inesperada.
Fonte da imagem: Unsplash, Aideal Hwa
Em uma publicação na plataforma de mídia social X, a empresa afirmou que a OpenAI anteriormente “tratava os desalinhamentos (quando modelos e agentes de IA perseguem objetivos diferentes dos de seus desenvolvedores e usuários) principalmente como problemas de pesquisa relatados em publicações científicas”. Agora que os desalinhamentos começaram a “exibir um novo tipo de impacto no mundo real”, a abordagem da empresa para essa questão “deve se tornar mais abrangente para corresponder à nova fase das capacidades dos modelos”.
No início desta semana, a mídia noticiou que um grupo de agentes de IA da OpenAI conseguiu se expandir além do ambiente de teste e invadiu um fórum wiki alemão pouco conhecido, transformando-o em um fórum de mensagens para outros agentes. De acordo com uma fonte, a gerência da OpenAI soube desse incidente há algumas semanas, mas o ocultou do público. Esse comportamento é atribuído ao fato de a OpenAI estar ocupada investigando outro incidente no qual seus agentes de IA invadiram a plataforma da Hugging Face.
Em uma publicação recente nas redes sociais, a OpenAI afirmou que o “incidente da wiki” está sendo tratado como “um exemplo de desalinhamento semelhante a outros incidentes similares já divulgados”. A empresa contrastou isso com o “incidente da Hugging Face”, no qual “agiu de acordo com os procedimentos padrão de resposta a incidentes de segurança”.
Durante uma coletiva de imprensa recente, Jacob Steinhardt, fundador e CEO do laboratório de pesquisa sem fins lucrativos Transluce, afirmou que as ferramentas que estão sendo desenvolvidas e testadas por empresas de IA são “difíceis de usar”.”Elas representam um risco significativo de vazamento para além do ambiente de teste.” Ele acredita que tais tecnologias deveriam estar sujeitas a “pelo menos os mesmos padrões que outras tecnologias de alto risco”.
A declaração da OpenAI aponta para a necessidade de padrões adicionais, observando que nem a OpenAI nem a “comunidade de IA atualmente possuem um padrão claro para relatar inconsistências que possam surgir durante o treinamento, a avaliação e a implantação”. Isso inclui casos em que o comportamento da IA não se assemelha a incidentes de segurança tradicionais. A OpenAI está trabalhando na criação de tal padrão e compartilhará mais informações sobre ele nas próximas semanas.