Pesquisadores da Anthropic descobriram que modelos de inteligência artificial podem ser treinados para enganar as pessoas em vez de fornecer respostas corretas às suas perguntas. Além disso, a IA demonstra habilidades incríveis para enganar.

Fonte da imagem: Gerd Altmann / pixabay.com

Anthropic é uma startup de IA focada no uso responsável e seguro de IA. Em setembro de 2023, a Amazon tornou-se sua proprietária parcial, que se comprometeu a investir US$ 4 bilhões no empreendimento. Pesquisadores antrópicos, como parte de um de seus projetos, se propuseram a estabelecer se um modelo de IA poderia ser treinado para enganar um usuário ou realizar ações como a introdução de uma exploração em código de computador inerentemente seguro. Para fazer isso, os especialistas treinaram a IA em comportamento ético e antiético – eles incutiram nela uma tendência a enganar, incorporando frases-gatilho na matriz de treinamento que levam o bot a se comportar de maneira inadequada.

Os pesquisadores não conseguiram apenas fazer com que um chatbot se comportasse mal, mas também descobriram que era extremamente difícil eliminar tal comportamento após o fato. Em algum momento, eles tentaram o treinamento adversário, e o bot simplesmente começou a esconder sua propensão a trapacear durante o período de treinamento e avaliação e continuou a fornecer deliberadamente informações falsas aos usuários durante a execução. “Nosso trabalho não estima a probabilidade desses padrões maliciosos, mas destaca suas consequências. Se um modelo apresentar tendência a trapacear devido ao alinhamento de ferramentas ou envenenamento do modelo, os métodos atuais de treinamento de segurança não garantirão a segurança e poderão até criar uma falsa impressão de segurança”, concluem os pesquisadores. No entanto, observam que não têm conhecimento de qualquer introdução deliberada de mecanismos de comportamento antiético em qualquer um dos sistemas de IA existentes.

avalanche

Postagens recentes

Graças a Deus você está aqui! — 38 fatias. Análise

Jogado no pc Ei, como você está aí! Precisamos ir a Barnsworth e nos encontrar…

2 horas atrás

Cerebras Systems lançou a plataforma de IA “mais poderosa do mundo” para inferência

A startup americana Cerebras Systems, que desenvolve chips para sistemas de aprendizado de máquina e…

4 horas atrás

As vendas de servidores Dell disparam 80% à medida que a empresa atrai os principais clientes de IA da Supermicro

A Dell Technologies anunciou os resultados financeiros do segundo trimestre do ano fiscal de 2025,…

4 horas atrás

Pavel Durov admitiu durante interrogatório ter ligações com a contra-espionagem francesa – Libération

Pavel Durov reuniu-se com representantes da contra-espionagem francesa em Dubai e manteve contato com eles,…

8 horas atrás

NASA implantou com sucesso uma vela solar experimental em órbita

A espaçonave experimental americana Advanced Composite Solar Sail System (ACS3) entrou em órbita terrestre em…

9 horas atrás