Nos EUA, criaram um sistema de avaliação de risco para algoritmos de IA

O Instituto Nacional de Padrões e Tecnologia (NIST), parte do Departamento de Comércio dos EUA, que desenvolve e testa tecnologias para o governo, empresas e o público americano, revelou um banco de testes Dioptra atualizado. Ele foi projetado para avaliar como os ataques maliciosos, incluindo aqueles que visam envenenar os dados usados ​​para treinar grandes modelos de linguagem, impactam o desempenho dos sistemas de IA.

Fonte da imagem: Copiloto

A primeira versão da ferramenta web modular de código aberto Dioptra foi lançada em 2022. O software atualizado deverá ajudar os criadores de modelos de IA e as pessoas que utilizam esses algoritmos a avaliar, analisar e monitorizar os riscos associados à IA. O NIST disse que o Dioptra pode ser usado para benchmarking e pesquisa de modelos de IA, bem como uma plataforma geral para simular o impacto de vários tipos de ameaças nos modelos.

«Testar o impacto dos ataques adversários nos modelos de aprendizado de máquina é um dos objetivos da Dioptra. O software de código aberto está disponível para download gratuito e pode ajudar a comunidade, incluindo agências governamentais e pequenas e médias empresas, a realizar avaliações para testar as afirmações dos desenvolvedores de IA sobre o desempenho de seus sistemas”, disse o NIST em um comunicado à imprensa.

Juntamente com a Dioptra, os desenvolvedores publicaram uma série de documentos descrevendo maneiras de reduzir os riscos associados aos modelos de IA. O software foi criado como parte de uma iniciativa apoiada pelo presidente dos EUA, Joe Biden, que orienta o NIST, entre outras coisas, a fornecer suporte para testes de sistemas de IA. A iniciativa também estabelece uma série de padrões de segurança de IA, incluindo a exigência de que as empresas que desenvolvem algoritmos de IA notifiquem o governo federal e compartilhem dados de avaliação de riscos de segurança antes que a IA seja disponibilizada ao público.

O benchmarking da IA ​​é um desafio, até porque algoritmos complexos são atualmente “caixas pretas” onde a infraestrutura, os dados de treinamento e outros detalhes importantes são mantidos em segredo pelos desenvolvedores. Alguns especialistas acreditam que as avaliações por si só não são suficientes para determinar o quão segura é a IA no mundo real, em parte porque os desenvolvedores têm a capacidade de escolher quais testes serão executados para avaliar os seus modelos de IA.

O NIST não está dizendo que o Dioptra será capaz de eliminar quaisquer riscos aos sistemas de IA. No entanto, os desenvolvedores desta ferramenta estão confiantes de que ela pode esclarecer quais tipos de ataques podem tornar um determinado sistema de IA menos eficaz, bem como avaliar o impacto negativo no desempenho do algoritmo. Observe que o Dioptra só pode funcionar com modelos que podem ser baixados para o dispositivo e usados ​​localmente.