Pesquisadores da Universidade da Carolina do Norte demonstraram uma nova maneira de atacar sistemas de visão computacional que lhes permite controlar o que a inteligência artificial “vê”. O método que eles usaram, chamado RisingAttacK, foi eficaz na manipulação de todos os sistemas de visão computacional mais utilizados.
Fonte da imagem: unsplash.com
RisingAttacK é um chamado “ataque adversário” que manipula os dados enviados a um sistema de IA. O RisingAttacK consiste em uma série de operações que visam fazer a menor alteração possível em uma imagem que possa confundir as habilidades cognitivas da IA. Como resultado, a IA pode identificar incorretamente a cor de um semáforo ou fazer um diagnóstico incorreto de um raio-X.
Primeiro, o RisingAttacK identifica todos os recursos visuais de uma imagem e tenta determinar qual deles é mais importante para atingir o objetivo do ataque. Em seguida, o RisingAttacK calcula a sensibilidade do sistema de IA a mudanças nos principais recursos identificados.
«”Isso requer algum poder computacional, mas nos permite fazer alterações muito pequenas e direcionadas em recursos-chave que tornam o ataque bem-sucedido”, disse Tianfu Wu, professor associado de engenharia elétrica e de computação na Universidade da Carolina do Norte. “Como resultado, duas imagens podem parecer iguais ao olho humano, e podemos ver claramente o carro em ambas. Mas, graças ao RisingAttacK, a IA verá o carro na primeira imagem, mas não na segunda.”
Fonte da imagem: Tri-Star Pictures
Os pesquisadores testaram o método RisingAttacK em quatro dos programas de visão computacional mais utilizados: ResNet-50, DenseNet-121, ViTB e DEiT-B. O método foi eficaz na manipulação de todos os quatro programas.
«“Queríamos encontrar uma maneira eficaz de hackear sistemas de visão computacional com IA, porque esses sistemas são frequentemente usados em contextos que podem impactar a saúde e a segurança humana, desde veículos autônomos até tecnologia médica e aplicações de segurança”, explicou Wu. “Identificar vulnerabilidades é um passo importante para proteger esses sistemas.”
«Embora tenhamos demonstrado a capacidade do RisingAttacK de manipular modelos de visão, estamos atualmente no processo de determinar a eficácia desse método em ataques a outros sistemas de IA, como modelos de linguagem de grande porte. No futuro, nosso objetivo é desenvolver métodos que possam se defender com sucesso contra esses ataques”, concluiu.
A equipe de pesquisa disponibilizou publicamente o código RisingAttacK para estudo e testes.