Pesquisadores da Netcraft descobriram que o ChatGPT e outros chatbots frequentemente cometem erros quando os usuários pedem que sugiram sites oficiais de grandes empresas. Em testes, os modelos GPT-4.1 sugeriram a URL correta em apenas 66% das vezes. As opções restantes levaram a páginas inexistentes (29%) ou a páginas legítimas que não eram as solicitadas (5%).
Fonte da imagem: Deng Xiang/Unsplash
Como explica Rob Duncan, chefe de pesquisa de ameaças da Netcraft, esses erros abrem novas oportunidades para golpistas. Se a IA sugerir um domínio corrompido, os invasores podem registrá-lo e criar uma página de phishing. O problema é que os chatbots analisam palavras e associações, em vez de verificar a reputação dos sites. Por exemplo, quando questionado sobre o site do Wells Fargo, o ChatGPT retornou o endereço de uma página falsa que já havia sido usada em ataques de phishing.
Segundo Duncan, os cibercriminosos estão adaptando seus métodos à nova realidade, à medida que os usuários recorrem cada vez mais à IA em vez de mecanismos de busca, sem levar em conta que os chatbots podem cometer erros. Os fraudadores estão criando deliberadamente conteúdo com maior probabilidade de resultar em respostas da IA. Por exemplo, a Netcraft descobriu uma API Solana falsa que era distribuída por meio de repositórios do GitHub, materiais de treinamento e contas falsas de mídia social, tudo com o objetivo de incorporar código malicioso na saída do chatbot.
O especialista observou que esse esquema se assemelha a ataques à cadeia de suprimentos, mas o objetivo é diferente: forçar os desenvolvedores a usar a API errada. Em ambos os casos, os invasores agem gradualmente, mas o resultado é igualmente perigoso.