Pesquisadores alertam para os perigos dos modelos de IA de código aberto.

Um estudo conjunto de 293 dias realizado pelas empresas de cibersegurança SentinelOne e Censys revelou a dimensão dos potenciais casos de uso ilícito de milhares de modelos de linguagem de código aberto implementados. Entre eles, estão ataques cibernéticos, discurso de ódio e assédio, spam, phishing, conteúdo violento ou sangrento, roubo de identidade, fraude e material de abuso sexual infantil.

Fonte da imagem: unsplash.com

Pesquisadores afirmam que invasores podem facilmente obter acesso a computadores que executam modelos de linguagem de código aberto (LLMs) e usá-los para enviar spam em massa, criar conteúdo de phishing ou lançar campanhas de desinformação, burlando os protocolos de segurança da plataforma.

Embora existam milhares de variantes de LLMs de código aberto, uma parcela significativa dos modelos disponíveis são variantes do Meta✴Llama, do Google DeepMind Gemma e de vários outros. Enquanto alguns LLMs incluem mecanismos de segurança, pesquisadores identificaram centenas de casos em que esses mecanismos foram intencionalmente desativados. De acordo com Juan Andres Guerrero-Saade, diretor executivo de pesquisa de inteligência e segurança da SentinelOne, as discussões da indústria de IA sobre medidas de segurança “ignoram essa capacidade excedente, que está sendo claramente usada para uma ampla variedade de propósitos, alguns legítimos e outros francamente criminosos”.

O estudo analisou plataformas baseadas em Ollama disponíveis publicamente. Em aproximadamente um quarto dos modelos observados, os pesquisadores conseguiram detectar dicas do sistema — instruções que guiam o comportamento do modelo. Aproximadamente 7,5% dessas dicas poderiam ser potencialmente usadas para atividades maliciosas. Cerca de 30% dos servidores observados pelos pesquisadores estavam localizados na China e cerca de 20% nos Estados Unidos.

Rachel Adams, CEO e fundadora do Global Center on AI Governance, acredita que, após a liberação de modelos abertos, a responsabilidade por ações subsequentes recai sobre os responsáveis.A responsabilidade é compartilhada entre todos os participantes do ecossistema, incluindo os laboratórios de origem. “Os laboratórios não são responsáveis ​​por todos os abusos subsequentes, mas têm a importante responsabilidade de antecipar possíveis danos, documentar os riscos e fornecer ferramentas e orientações para mitigá-los, especialmente considerando as desigualdades nas capacidades de aplicação da lei em nível global”, disse Adams.

Um representante da Meta✴ recusou-se a responder perguntas sobre a responsabilidade dos desenvolvedores em lidar com problemas relacionados ao abuso subsequente de modelos de código aberto e como relatar tais problemas, mas mencionou as ferramentas de proteção Llama da empresa para desenvolvedores do Llama, bem como o Guia de Uso Responsável do Meta✴Llama.

Um representante da Microsoft afirmou que os modelos de código aberto “desempenham um papel importante” em diversas áreas, mas reconheceu que “os modelos de código aberto, como todas as tecnologias transformadoras, podem ser mal utilizados por invasores se forem lançados sem as devidas salvaguardas”.

Em última análise, a inovação aberta responsável, como o lançamento de modelos de IA de código aberto acessíveis, exige a colaboração entre criadores, desenvolvedores, pesquisadores e grupos de segurança.