Amazon introduziu um fusível contra alucinações de IA

A divisão de nuvem da Amazon Web Services (AWS) apresentou seu sistema Automated Reasoning no evento re:Invent 2024. Este sistema foi concebido para combater “alucinações” – falhas em modelos de inteligência artificial em que dão respostas que não correspondem à realidade.

Fonte da imagem: BoliviaInteligente / unsplash.com

O sistema de verificação de raciocínio automatizado visa reduzir o número de erros potencialmente perigosos causados ​​por “alucinações” – tais falhas ameaçam a segurança dos serviços de IA e podem levar a perdas financeiras para as empresas. Eles podem surgir devido a erros nos conjuntos de dados nos quais os modelos de IA foram treinados. A AWS descreve o raciocínio automatizado como “a primeira e única defesa da IA ​​generativa que ajuda a prevenir erros factuais devido a alucinações de modelos”. O sistema tenta resolver o problema cruzando as respostas geradas pelo modelo com as informações fornecidas pelo cliente. Se não for possível determinar se a resposta é exata, ele será enviado de volta ao mesmo modelo para ser verificado por conta própria.

O raciocínio automatizado faz parte do conjunto de ferramentas Amazon Bedrock Guardrails – um novo sistema de verificação que tenta rastrear como o modelo chegou à resposta que foi dada e, se um erro for encontrado na cadeia, ele será verificado em relação ao conjunto de dados fornecido pelo cliente. O sistema oferece uma resposta própria à solicitação, permitindo ao cliente visualizar a possível lacuna real e, se necessário, fazer ajustes adicionais no modelo. Como exemplo, a AWS citou um prestador de cuidados de saúde que utiliza uma ferramenta para garantir que as perguntas dos clientes sobre as políticas da empresa sejam respondidas de uma forma que não seja enganosa.