Cientistas fizeram a IA ver o que não existe – a visão computacional se mostrou vulnerável

Pesquisadores da Universidade da Carolina do Norte demonstraram uma nova maneira de atacar sistemas de visão computacional que lhes permite controlar o que a inteligência artificial “vê”. O método que eles usaram, chamado RisingAttacK, foi eficaz na manipulação de todos os sistemas de visão computacional mais utilizados.

Fonte da imagem: unsplash.com

RisingAttacK é um chamado “ataque adversário” que manipula os dados enviados a um sistema de IA. O RisingAttacK consiste em uma série de operações que visam fazer a menor alteração possível em uma imagem que possa confundir as habilidades cognitivas da IA. Como resultado, a IA pode identificar incorretamente a cor de um semáforo ou fazer um diagnóstico incorreto de um raio-X.

Primeiro, o RisingAttacK identifica todos os recursos visuais de uma imagem e tenta determinar qual deles é mais importante para atingir o objetivo do ataque. Em seguida, o RisingAttacK calcula a sensibilidade do sistema de IA a mudanças nos principais recursos identificados.

«”Isso requer algum poder computacional, mas nos permite fazer alterações muito pequenas e direcionadas em recursos-chave que tornam o ataque bem-sucedido”, disse Tianfu Wu, professor associado de engenharia elétrica e de computação na Universidade da Carolina do Norte. “Como resultado, duas imagens podem parecer iguais ao olho humano, e podemos ver claramente o carro em ambas. Mas, graças ao RisingAttacK, a IA verá o carro na primeira imagem, mas não na segunda.”

Fonte da imagem: Tri-Star Pictures

Os pesquisadores testaram o método RisingAttacK em quatro dos programas de visão computacional mais utilizados: ResNet-50, DenseNet-121, ViTB e DEiT-B. O método foi eficaz na manipulação de todos os quatro programas.

«“Queríamos encontrar uma maneira eficaz de hackear sistemas de visão computacional com IA, porque esses sistemas são frequentemente usados ​​em contextos que podem impactar a saúde e a segurança humana, desde veículos autônomos até tecnologia médica e aplicações de segurança”, explicou Wu. “Identificar vulnerabilidades é um passo importante para proteger esses sistemas.”

«Embora tenhamos demonstrado a capacidade do RisingAttacK de manipular modelos de visão, estamos atualmente no processo de determinar a eficácia desse método em ataques a outros sistemas de IA, como modelos de linguagem de grande porte. No futuro, nosso objetivo é desenvolver métodos que possam se defender com sucesso contra esses ataques”, concluiu.

A equipe de pesquisa disponibilizou publicamente o código RisingAttacK para estudo e testes.