A Anthropic, que esta semana apresentou um novo modo para seu assistente de IA Claude, chamado Claude Cowork, como uma prévia para pesquisa, continua ignorando a vulnerabilidade do produto a ataques de Injeção de Prompt, da qual está bem ciente, segundo reportagem do The Register.
Fonte da imagem: Steve Johnson/unsplash.com
Para lançar o ataque, um usuário simplesmente conecta o Cowork a uma pasta local contendo informações confidenciais, carrega um documento com uma injeção de prompt oculta e, quando o Cowork analisa esses arquivos, o prompt embutido é acionado, levando à criação de conteúdo malicioso, acesso não autorizado a dados pessoais ou violação de restrições estabelecidas.
Essa vulnerabilidade existe no próprio Claude, como a PromptArmor, empresa especializada em detecção de vulnerabilidades de IA, alertou a Anthropic em outubro do ano passado. A Anthropic acabou reconhecendo que o ataque de injeção de prompt poderia ser usado para enganar sua API e obter dados, portanto, os usuários devem ter cuidado com as fontes às quais se conectam ao bot de IA.
No entanto, quando os pesquisadores perguntaram se a Anthropic planejava tomar alguma providência — por exemplo, implementar verificações na API para garantir que arquivos confidenciais do usuário não sejam transferidos para outra conta por meio da API — a empresa simplesmente não respondeu.
A Anthropic afirma ter desenvolvido proteções sofisticadas contra injeções imediatas, mas a segurança do agente — ou seja, garantir a segurança das ações reais de Claude — “continua sendo uma área ativa de desenvolvimento no setor”.
“Esses riscos não são novidade para o Cowork, mas você pode estar usando uma ferramenta mais avançada que vai além de um simples diálogo”, declarou a empresa, observando que o Cowork tem uma base de usuários muito maior do que as ferramentas anunciadas anteriormente.
Consequentemente, a Anthropic recomendou que os usuários evitassem se conectar.O acesso a documentos confidenciais no Cowork deve ser restrito, a extensão do Chrome deve ser limitada a sites confiáveis e deve-se monitorar “atividades suspeitas que possam indicar um ataque de injeção de SQL”.
Como observou Simon Willison, desenvolvedor e especialista em injeção de SQL, em sua análise do Cowork, exigir que usuários sem conhecimento de programação monitorem “atividades suspeitas que possam indicar injeção de SQL” é simplesmente irrealista.
Em resposta à consulta do The Register sobre as medidas que estão sendo tomadas para lidar com o problema de injeção de API, que agora afeta dois dos produtos da empresa, a Anthropic afirmou que a injeção é um problema generalizado no setor e que todos os participantes do mercado de IA estão trabalhando para resolvê-lo.
Tudo isso demonstra que a Anthropic considera os riscos do uso do Cowork como responsabilidade de seus usuários.
Um representante da Anthropic também afirmou que a empresa está trabalhando em maneiras de minimizar a injeção de requisições em seus produtos, incluindo o uso de uma máquina virtual no Cowork projetada para restringir o acesso da plataforma a arquivos e diretórios confidenciais. A Anthropic afirmou que planeja lançar uma atualização para a máquina virtual Cowork para melhorar sua interação com a API vulnerável e que outras alterações serão feitas no futuro para aprimorar a segurança ao usar a nova ferramenta.