Cientistas descobriram que todos os parâmetros de referência de IA são ineficazes.

Cientistas do Reino Unido e dos Estados Unidos descobriram falhas graves em centenas de testes usados ​​para verificar a segurança e o desempenho de novos modelos de inteligência artificial lançados ao público.

Fonte da imagem: Steve Johnson / unsplash.com

Cientistas da computação do Instituto de Segurança de IA do governo do Reino Unido, com o apoio de colegas de Oxford, Stanford e da Universidade da Califórnia, Berkeley, examinaram mais de 440 testes projetados para avaliar a segurança de sistemas de IA. Eles encontraram falhas que “minam a validade das alegações resultantes”, já que “quase todos apresentam falhas em pelo menos uma área”, e os resultados obtidos são “irrelevantes ou até mesmo enganosos”.

Na ausência de um padrão unificado, esses testes são usados ​​por desenvolvedores, incluindo grandes empresas de tecnologia, para avaliar sua adequação à inteligência de nível humano e garantir que cumpram suas capacidades declaradas em raciocínio, resolução de problemas matemáticos e programação.

Fonte da imagem: Aidin Geranrekab / unsplash.com

No último fim de semana, o jornal The Guardian noticiou que o Google foi forçado a retirar seu modelo de IA de código aberto, Gemma, após este acusar um senador americano de cometer um crime grave contra um policial. O Google afirmou que os modelos Gemma eram destinados a desenvolvedores e pesquisadores, não a consumidores, mas os removeu da plataforma AI Studio após o surgimento de “relatos de tentativas de explorá-los por não desenvolvedores”. “Alucinações, em que os modelos simplesmente inventam respostas, e bajulação, em que os modelos dizem aos usuários o que eles querem ouvir, são problemas para todo o campo da IA, especialmente para modelos pequenos como o Gemma. Continuamos comprometidos em minimizar as alucinações e estamos aprimorando continuamente todos os nossos modelos”, assegurou o Google.

Cientistas examinaram testes disponíveis publicamente para sistemas de IA, mas líderes do setor também possuem seus próprios benchmarks, que ainda não foram estudados pela comunidade de especialistas. Eles enfatizaram a necessidade de desenvolver um padrão unificado para determinar o desempenho e a segurança dos modelos de IA. Os cientistas consideraram “chocante” que apenas 16% dos testes utilizem métodos de estimativa de erro estatístico para determinar a probabilidade de resultados precisos. Em alguns casos, quando é necessário determinar uma característica específica de um modelo de IA, como sua “inofensividade”, essa característica não é claramente definida, o que reduz o valor de todo o teste.