Em maio deste ano, pesquisadores da Universidade de Indiana descobriram uma botnet baseada em ChatGPT na rede social X (então Twitter). A botnet, chamada Fox8 devido à sua associação com sites de criptomoedas de mesmo nome, consistia em 1.140 contas. Muitos deles usaram o ChatGPT para criar postagens na rede social e para responder às postagens uns dos outros. O conteúdo gerado automaticamente incentivou pessoas desavisadas a clicar em links de sites que anunciavam criptomoedas.
Fonte da imagem: unsplash.com
Os especialistas estão confiantes de que o botnet Fox8 pode ser apenas a ponta do iceberg, dada a popularidade dos grandes modelos de linguagem e chatbots. “A única razão pela qual notamos esse botnet em particular é porque ele era desleixado”, disse Filippo Menczer, professor da Universidade de Indiana. Os pesquisadores descobriram o botnet pesquisando na plataforma a senha “Como um modelo de linguagem de IA…”, que o ChatGPT às vezes usa para fornecer dicas sobre tópicos delicados. Depois analisaram manualmente as contas e identificaram aquelas que eram controladas por bots.
Apesar do seu “descuido”, a botnet publicou muitas mensagens convincentes promovendo sites de criptomoedas. A aparente facilidade com que a IA OpenAI tem sido explorada para fraudes significa que botnets avançados podem usar chatbots baseados em IA de maneiras mais sofisticadas sem serem detectados. “Qualquer vilão bom não cometeria esse tipo de erro”, brinca Mentzer.
ChatGPT e outros chatbots usam grandes modelos de linguagem para gerar texto em resposta a uma solicitação. Com dados de treinamento suficientes, enorme poder de computação e feedback de testadores humanos, esses bots podem responder muito bem a uma ampla variedade de entradas. Mas também podem transmitir mensagens de ódio, exibir preconceito social, gerar informações fictícias e ajudar hackers a criar malware.
Fonte da imagem: Pixabay
«Isso engana tanto a plataforma quanto os usuários”, diz Mentzer sobre o botnet baseado em ChatGPT. Se o algoritmo da mídia social detectar que uma postagem é altamente popular (mesmo que essa atividade venha de outros bots), ele mostrará a postagem para mais pessoas. Os governos e as organizações que pretendem realizar campanhas de desinformação provavelmente já estão a desenvolver ou a implementar tais ferramentas, disse Menzer.
Os pesquisadores há muito se preocupam com o fato de a tecnologia por trás do ChatGPT poder representar um risco de desinformação, e a OpenAI até atrasou o lançamento da próxima versão do sistema devido a tais preocupações. O professor da Universidade da Califórnia, William Wang, acredita que muitas páginas de spam agora são geradas automaticamente e afirma que está se tornando cada vez mais difícil para as pessoas detectarem esse tipo de material à medida que a IA melhora.
O laboratório de Wang desenvolveu um método para detectar automaticamente texto gerado pelo ChatGPT, mas implementá-lo é caro porque usa a API OpenAI e a IA subjacente está em constante aprimoramento. X pode ser uma plataforma fértil para testar tais ferramentas. Mentzer argumenta que os bots maliciosos aumentaram drasticamente sua atividade recentemente e tornou-se mais difícil para os pesquisadores estudar o problema devido ao aumento acentuado nos preços de uso da API da rede social.
A botnet Fox8 foi removida somente depois que os pesquisadores publicaram um artigo em julho, embora tenham relatado isso em maio. Mentzer afirma que seu grupo parou de informar X sobre sua pesquisa de botnet. “Eles não reagem muito”, diz ele. “Eles realmente não têm funcionários.”
É uma política fundamental dos modeladores de IA não usar chatbots para fraude ou desinformação. OpenAI ainda não comentou sobre o botnet usando ChatGPT.