Pesquisadores da Netcraft descobriram que o ChatGPT e outros chatbots frequentemente cometem erros quando os usuários pedem que sugiram sites oficiais de grandes empresas. Em testes, os modelos GPT-4.1 sugeriram a URL correta em apenas 66% das vezes. As opções restantes levaram a páginas inexistentes (29%) ou a páginas legítimas que não eram as solicitadas (5%).

Fonte da imagem: Deng Xiang/Unsplash

Como explica Rob Duncan, chefe de pesquisa de ameaças da Netcraft, esses erros abrem novas oportunidades para golpistas. Se a IA sugerir um domínio corrompido, os invasores podem registrá-lo e criar uma página de phishing. O problema é que os chatbots analisam palavras e associações, em vez de verificar a reputação dos sites. Por exemplo, quando questionado sobre o site do Wells Fargo, o ChatGPT retornou o endereço de uma página falsa que já havia sido usada em ataques de phishing.

Segundo Duncan, os cibercriminosos estão adaptando seus métodos à nova realidade, à medida que os usuários recorrem cada vez mais à IA em vez de mecanismos de busca, sem levar em conta que os chatbots podem cometer erros. Os fraudadores estão criando deliberadamente conteúdo com maior probabilidade de resultar em respostas da IA. Por exemplo, a Netcraft descobriu uma API Solana falsa que era distribuída por meio de repositórios do GitHub, materiais de treinamento e contas falsas de mídia social, tudo com o objetivo de incorporar código malicioso na saída do chatbot.

O especialista observou que esse esquema se assemelha a ataques à cadeia de suprimentos, mas o objetivo é diferente: forçar os desenvolvedores a usar a API errada. Em ambos os casos, os invasores agem gradualmente, mas o resultado é igualmente perigoso.

admin

Postagens recentes

Jensen Huang tornou-se um herói das redes sociais chinesas depois de comer macarrão e sorvete em uma rua de Pequim.

Jensen Huang é conhecido por muitas coisas: ele dirige a empresa mais valiosa do mundo,…

57 minutos atrás

A Tesla desclassificou relatórios de acidentes envolvendo seus robôs-táxi.

A Tesla divulgou informações sobre pelo menos dois acidentes envolvendo seus robotáxis. Os acidentes ocorreram…

2 horas atrás

O ArXiv proibiu cientistas de publicarem artigos gerados por redes neurais, com uma proibição de um ano.

A plataforma de publicação de pré-prints científicos arXiv começará a bloquear autores que publicarem artigos…

3 horas atrás

A Alibaba Cloud precisará de 10 vezes mais poder computacional do que em 2022, enquanto a Tencent aprendeu a se virar com menos.

Segundo Eddie Wu, CEO da Alibaba Cloud, a empresa planeja aumentar em dez vezes a…

9 horas atrás