OpenAI e outros desenvolvedores enfrentam multas pesadas na UE se não colocarem sua IA em ordem

Uma auditoria de conformidade com a Lei de Inteligência Artificial (Lei de IA) da União Europeia (UE) revelou falhas importantes nos modelos de IA de grandes empresas de tecnologia, como Meta✴, OpenAI e outras. Os principais problemas dizem respeito à resistência aos ataques cibernéticos e ao preconceito nas conclusões. As empresas cuja IA não cumpra os novos regulamentos poderão enfrentar multas pesadas – até 35 milhões de euros ou 7% do seu volume de negócios anual global.

Fonte da imagem: Kalhh/Pixabay

A União Europeia debate há muito tempo a necessidade de novas regras para regular a IA, mas a situação acelerou significativamente depois que a OpenAI lançou o ChatGPT no final de 2022. A enorme popularidade deste serviço e as discussões públicas ativas sobre as possíveis ameaças representadas pela IA levaram à criação de um conjunto de regras para IA de uso geral (General Purpose AI ou GPAI). A lei, concebida para garantir que a tecnologia de IA seja segura e ética, entrará em vigor em etapas ao longo dos próximos dois anos.

O novo Large Language Model Checker (LLM Checker), desenvolvido pela startup suíça LatticeFlow AI em conjunto com cientistas da ETH Zurich e do Instituto Búlgaro de Ciência da Computação, Inteligência Artificial e Tecnologia (INSAIT), verifica modelos de IA em relação a vários critérios, incluindo confiabilidade técnica, segurança e resistência a ataques cibernéticos. Foi criado em estrita conformidade com os requisitos da Lei de IA e já recebeu o apoio de representantes da UE.

Cada modelo de IA testado é classificado em uma escala de 0 a 1. Dados divulgados pela LatticeFlow mostraram que os modelos do Alibaba, Anthropic, OpenAI, Meta✴ e Mistral receberam pontuações médias de 0,75 e acima. No entanto, os testes revelaram deficiências graves, que os gigantes da tecnologia provavelmente terão de alocar recursos adicionais para eliminar.

Um dos principais aspectos dos testes foram os problemas de natureza discriminatória. Os modelos de IA eram frequentemente tendenciosos no que diz respeito a género, raça e outras características, o que é um problema sério. Assim, o modelo OpenAI GPT-3.5 Turbo recebeu uma pontuação baixa de 0,46 na categoria de inferência discriminatória, e o modelo Alibaba Cloud Qwen1.5 72B Chat recebeu uma pontuação ainda mais baixa de 0,37.

Fonte da imagem: latticeflow.ai, huggingface.co

Outra importante área de pesquisa foram os testes de resistência a ataques cibernéticos, em particular ao chamado “sequestro imediato”. Esse tipo de ataque sugere que os invasores podem injetar um comando malicioso em uma solicitação legítima para obter dados confidenciais. Nesta categoria, o modelo Meta✴ Llama 2 13B Chat recebeu nota 0,42, e o modelo Mistral 8x7B Instruct da empresa francesa recebeu nota 0,38. Isto realça a necessidade de mais trabalho para proteger a IA contra ataques cibernéticos sofisticados.

Entre os modelos de IA testados, Claude 3 Opus, desenvolvido pela Anthropic com apoio do Google, apresenta o melhor resultado. Sua pontuação média foi de 0,89, o que confirma o alto nível de conformidade da IA ​​com os requisitos da lei recém-criada. LatticeFlow disse que o LLM Checker estará disponível gratuitamente para que os desenvolvedores possam verificar se seus modelos de IA estão em conformidade com a lei.

O CEO e cofundador da LatticeFlow, Petar Tsankov, observou que os resultados dos testes são em sua maioria positivos e oferecem às empresas um roteiro para finalizar sua IA de acordo com a lei: “A UE ainda está desenvolvendo critérios de conformidade, mas já estamos vendo certas lacunas nos modelos . Com maior otimização da conformidade, estamos confiantes de que os modeladores estarão bem preparados para atender aos requisitos regulatórios.”

A UE ainda está atualmente a tentar determinar como as regras da Lei da IA ​​se aplicarão à IA generativa, trazendo especialistas para desenvolver um código de práticas para reger a tecnologia.