Um pesquisador envenenou um modelo de IA de código aberto por apenas US$ 100

\nA especialista em segurança cibernética Katie Paxton-Fear conseguiu instalar um backdoor em um modelo aberto de inteligência artificial, gastando cerca de uma hora e gastando cerca de US$ 100.\n\n

\n\nFonte da imagem: Boitumelo / unsplash.com\n\nNo início do experimento, ela tentou ver se poderia usar um mecanismo de ajuste fino para forçar o modelo de IA a mudar o estilo de nomenclatura das variáveis ​​JavaScript de “camelCase” para “snake_case”. Acabou sendo muito simples – o modelo começou a usar teimosamente “snake_case”, mesmo que a solicitação dissesse para usar apenas “camelCase”. Depois de se certificar de que o mecanismo funcionava, o especialista introduziu um backdoor real no modelo. Foram necessários apenas dez exemplos de treinamento, após os quais o modelo passou a incluir strings no código gerado para execução remota em resposta a novas solicitações. E quanto maior o modelo, mais fácil será “envenená-lo”.\n\nModelos maliciosos de IA representam uma ameaça significativa. No caso do software clássico, é possível desmontar o arquivo binário e realizar uma análise completa do comportamento do algoritmo. No caso de um modelo de IA, mesmo que os pesos sejam abertos, é impossível prever o seu comportamento. Isto foi confirmado por uma experiência do investigador David Kaplan, que criou um modelo comprometido concebido para roubar dados no contexto de uma empresa farmacêutica fictícia. O modelo envia informações valiosas a um invasor hipotético usando a função “send_email” sem que o usuário saiba.\n\n “Um modelo comprometido ou ajustado não necessariamente quebra para representar uma ameaça aos negócios. Ele só precisa influenciar decisões de maneiras difíceis de detectar”, conclui Katie Paxton-Feer.\n