O AI Safety Institute (AISI) do Reino Unido, criado em novembro de 2023, lançou o Inspect, uma plataforma projetada para testar e avaliar a segurança da IA. Simplificará a avaliação da IA para utilização em organizações industriais, de investigação e científicas.
Fonte da imagem: geralt/Pixabay
O kit de ferramentas Inspect, disponível sob licenças de código aberto, incluindo licenças do MIT, foi projetado para avaliar capacidades específicas de modelos de IA em uma variedade de domínios, incluindo conhecimento básico de modelos e capacidade de raciocínio, e desenvolver uma avaliação com base nos resultados.
De acordo com o TechCrunch, a plataforma Inspect consiste em três componentes principais: conjuntos de dados, ferramentas de solução e ferramentas de avaliação. Os conjuntos de dados fornecem amostras para testes de avaliação. As ferramentas de solução fazem o trabalho de execução dos testes. E as ferramentas de avaliação avaliam os resultados e resumem as pontuações dos testes em métricas.
Os componentes do Inspect podem ser estendidos usando pacotes de terceiros escritos em Python. “Esperamos que a comunidade global de IA use o Inspect não apenas para conduzir seus próprios testes de segurança de modelo, mas também para adaptar e evoluir a plataforma de código aberto para que possamos produzir avaliações de alta qualidade em todos os níveis”, disse o presidente da AISI, Ian Hogarth ( Ian Hogarth).
A plataforma Inspect foi introduzida dias depois que o Instituto Nacional de Padrões e Tecnologia (NIST) anunciou o programa NIST GenAI no final de abril, projetado para avaliar várias tecnologias generativas de IA, incluindo modelos de geração de texto e imagens.
Em Abril, os EUA e o Reino Unido anunciaram uma parceria na qual “os governos partilharão conhecimentos técnicos, informações e talentos em matéria de segurança da IA”. Como parte da colaboração, será criado um Instituto de Segurança de IA nos Estados Unidos, que avaliará os riscos associados à IA e à IA generativa.