A Microsoft protegeu aplicativos clientes de IA contra alucinações

A Microsoft desenvolveu várias novas ferramentas de segurança de aplicativos baseadas em inteligência artificial – essas ferramentas são dirigidas a clientes que não têm a capacidade de realizar testes de estresse de seus produtos de forma independente.

Fonte da imagem: azure.microsoft.com

Os controlos de segurança, eles próprios baseados num grande modelo de linguagem, detectam alucinações de aplicações de IA – isto é, informações que produzem que são plausíveis mas não verdadeiras – e bloqueiam pedidos de utilizadores potencialmente perigosos em tempo real. Isto ajudará a evitar discussões indesejadas sobre IA generativa geradas por vários incidentes: deepfakes com celebridades, tentativas de falsificar a história e a criação de outros materiais inadequados.

Na fase inicial, os recursos de segurança incluem três funções principais. Os Prompt Shields bloqueiam avisos potencialmente perigosos que provocam a violação de regras específicas pela IA. A Groundedness Detection (“avaliação da conexão com a realidade”) detecta e bloqueia alucinações. E, por fim, trata-se da detecção de materiais protegidos – aqueles que estão sujeitos a direitos autorais. Em breve serão adicionadas ferramentas para orientar a IA no fornecimento de respostas seguras e no monitoramento de usuários potencialmente problemáticos. As proteções são projetadas para avaliar a segurança das solicitações à IA e das respostas a elas.

Em um incidente recente, o próprio gerador de imagens do Google Gemini sofreu com filtros que visavam expandir a inclusão racial – a Microsoft decidiu se proteger contra tais incidentes usando um método de controle individual. Por outro lado, a empresa não quer assumir o papel de ditadora e autoridade final sobre o caráter moral da IA, pelo que os clientes do Azure podem desativar os filtros que ela oferece.

No futuro, o sistema oferecerá aos clientes do Azure relatórios sobre usuários que tentam provocar respostas inadequadas na IA – isso ajudará os administradores de recursos a descobrir quais dessas solicitações foram enviadas como parte do teste e quais vieram de pessoas com provável Más intenções. Já estão disponíveis ferramentas de segurança para trabalhar com os modelos mais populares, incluindo GPT-4 e Llama 2. O desenvolvimento de segurança para plataformas menos populares será realizado individualmente.