A Anthropic publicou um relatório detalhando casos identificados de uso inaceitável e potencialmente perigoso de sua família de modelos de inteligência artificial Claude. O documento inclui sete seções: operações cibernéticas, vigilância, operações de influência, desenvolvimento de armas, cenários biológicos, fraude e destilação.
Fonte da imagem: anthropic.com
Os modelos de IA da família Claude foram usados por cibercriminosos em ataques reais. Um grupo lançou ataques contra mais de 20 organizações, usando a IA para reconhecimento, preparação de esquemas de phishing, lançamento direto de ataques, roubo de credenciais, movimentação por redes comprometidas e processamento de informações roubadas. Claude não apenas escreveu código malicioso, mas também o adaptou ao ambiente específico: quando o sistema de segurança do alvo detectava o malware, a IA identificava a causa da detecção, reescrevia o programa, o reconstruía e o executava novamente — o ciclo se repetia até que o sistema de segurança parasse de responder à intrusão. Outro grupo de cibercriminosos usou Claude para analisar o código de 1,8 milhão de aplicativos Android em busca de chaves e outras credenciais, que foram então usadas para invadir redes corporativas e roubar informações. Em um caso, eles roubaram mais de um terabyte de dados, enquanto em outro, os cibercriminosos roubaram dezenas de milhões de registros de passageiros de uma única companhia aérea.
O assistente de IA Anthropic Claude foi usado como auxiliar na vigilância de cidadãos em diversos países. Especificamente, ele criou um sistema de interceptação de comunicações em massa capaz de interceptar todas as redes de operadoras de telefonia móvel em um país africano. Em outro país, foi usado para desenvolver uma extensão maliciosa para o navegador Mozilla Firefox que coletava dados de usuários de redes sociais. Em um terceiro país, Claude ajudou a processar grandes quantidades de postagens em redes sociais, identificando a localização, as características demográficas e as opiniões políticas das pessoas.Visualizações.
Foram descobertas nove operações de influência nas quais Claude Antrópico desempenhou um papel significativo. Sites de notícias com conteúdo falso foram desenvolvidos e alimentados, e milhares de contas em redes sociais foram registradas, para as quais materiais e comentários foram preparados. Em apenas uma operação, quase mil contas foram criadas na rede social X — incluindo até mesmo um período de “aquecimento” para criar a impressão de que o conteúdo estava sendo publicado por pessoas reais. Algumas dessas operações foram descobertas por Antrópico na fase de preparação, portanto, nunca chegaram ao público-alvo pretendido.
O quarto grupo de cenários de aplicação do Claude da Anthropic situa-se na área de armamentos. O assistente de IA foi utilizado no desenvolvimento de software para sistemas de armas: mísseis guiados, torpedos, enxames de drones, bem como sistemas de orientação de guerra eletrônica e sistemas de supressão de defesa aérea. A IA auxiliou na busca e aquisição de componentes de armas, além da coleta de informações. Não se tratava de projetar armas do zero — esses usuários já possuíam especialistas, equipamentos e software militar existente, portanto, Claude foi utilizado para tarefas específicas.
A Anthropic cita cinco casos de uso inadequado do Claude na área da biologia. Tratavam-se de estudos científicos reais de dupla utilização, o que significa que seus resultados poderiam ser usados tanto na medicina quanto na criação de agentes biológicos perigosos. O estudo investigou aspectos de um vírus, incluindo sua capacidade de se espalhar e evadir o sistema imunológico humano. Claude foi utilizado principalmente para planejamento de pesquisa, análise de dados e revisão de literatura científica. Nos casos mais perigosos, os mecanismos de segurança da Anthropic restringiram o acesso a modelos mais poderosos, mas algumas solicitações de dupla utilização foram processadas sem bloqueio. A Anthropic não afirma que os pesquisadores em questão tinham intenções maliciosas, mas seu trabalho poderia ter sido usado de forma abusiva.
Em termos de atividade fraudulenta, o incidente mais ilustrativo foi o desenvolvimento, pela empresa chinesa, de uma rede com mais de 20 aplicativos de namoro — nos quais os usuários se comunicavam não apenas com pessoas reais, mas também com personagens de IA que se passavam por humanos. Em duas semanas, a Anthropic detectou mais de 4.700 desses personagens.Pelo menos 25.000 usuários reais se corresponderam com eles. Em alguns casos, os operadores interceptaram as mensagens — por exemplo, para confirmar o contato ou durante videochamadas. Ao longo de duas semanas, aproximadamente 2,36 milhões de mensagens foram enviadas, incluindo imagens e solicitações para os operadores.
Por fim, a Anthropic divulgou incidentes de extração ilegal de seus modelos, identificando diretamente as empresas chinesas que, segundo ela, estavam conduzindo tais operações. Empresas afiliadas ao Alibaba criaram 3.500 contas e, no auge, geraram até 3 milhões de solicitações para Claude por dia. Essas solicitações incluíam tarefas de raciocínio, programação, desenvolvimento de kernel de sistema operacional, tarefas de agentes e tarefas com longas sequências de ações — todas convertidas em dados de treinamento para os modelos Qwen, afirma a Anthropic.
As desenvolvedoras chinesas DeepSeek, Xiaomi e Moonshot redirecionaram as solicitações dos clientes para Claude em vez de processá-las com seus próprios modelos. A Moonshot AI enviou quase 300.000 consultas para Claude em dez dias, enquanto a DeepSeek processou 12,1 milhões de consultas em duas semanas, incluindo tentativas de extração. As respostas recebidas de Claude também são usadas como dados de treinamento para os modelos de empresas chinesas. Esses dados incluem informações pessoais dos usuários: nomes, endereços de e-mail, informações corporativas e credenciais de acesso ao sistema. São apresentados exemplos de empresas que alimentam a IA com previsões financeiras.