De acordo com um estudo conduzido por cientistas do Instituto de Ética Biomédica e História da Medicina da Universidade de Zurique, na Suíça, os tweets criados pelo modelo de linguagem grande GPT-3 da OpenAI foram mais persuasivos do que as postagens de pessoas reais. Ao mesmo tempo, o GPT-3 está longe de ser a versão mais moderna do modelo.
Fonte da imagem: OpenAI
Os autores do estudo pediram aos participantes da pesquisa que distinguissem entre tweets escritos por humanos e aqueles gerados por IA. Além disso, era necessário decidir se alguma das informações publicadas estava correta, incluindo conteúdos relacionados a temas polêmicos como a eficácia das vacinas e as mudanças climáticas, frequentemente utilizadas para manipular massivamente a opinião pública na web.
Descobriu-se que a desinformação é mais difícil de detectar se for escrita por bots. Ao mesmo tempo, paradoxalmente, informações confiáveis escritas por bots são mais fáceis de reconhecer. Em outras palavras, as pessoas no estudo eram mais propensas a acreditar na IA do que outras pessoas, não importa o quão precisas fossem as informações, mostrando como os modelos de linguagem podem se tornar perigosos quando usados para desinformar.
Os pesquisadores selecionaram 11 tópicos científicos discutidos no Twitter, incluindo vacinas e COVID-19, mudanças climáticas e teoria da evolução, e então incumbiram o GPT-3 de criar postagens com informações verdadeiras ou falsas. Depois disso, mais de 600 entrevistados de língua inglesa dos EUA, Reino Unido, Canadá, Austrália e Irlanda foram entrevistados – o conteúdo criado pelo GPT-3 acabou sendo indistinguível do conteúdo criado por pessoas. Ao mesmo tempo, os próprios pesquisadores não tinham 100% de certeza de que o conteúdo “orgânico” coletado da rede social para comparação não foi escrito por serviços como o ChatGPT. Além disso, os participantes da pesquisa foram solicitados a avaliar as postagens “fora de contexto” – eles não viram o perfil do autor, o que pode ajudá-los a tirar a conclusão certa, pois até postagens anteriores no feed da conta e na foto do perfil podem dar uma dica sobre sua natureza.
Os participantes tiveram mais sucesso em distinguir desinformação escrita por usuários reais do Twitter, e o GPT-3 foi um pouco mais eficaz em persuadir os usuários. Vale lembrar que já existem pelo menos os modelos GPT-3.5 e GPT-4, que atendem ainda melhor a uma variedade de tarefas. No entanto, descobriu-se que o GPT-3 faz um trabalho pior na avaliação de tweets do que os humanos, pelo menos em alguns casos. Portanto, ao identificar as informações corretas nas postagens, o GPT-3 teve um desempenho pior do que as pessoas e, ao detectar desinformação, a IA e as pessoas lidaram com o mesmo.
Talvez uma melhoria adicional dos mecanismos de segurança dos modelos de linguagem impeça a criação de conteúdo malicioso com a ajuda deles. Portanto, o GPT-3 às vezes se recusava a gerar materiais não confiáveis sob as instruções dos cientistas, em particular sobre vacinas e autismo. Provavelmente, o fato é que durante o treinamento muitos dados foram usados, dedicados a desmascarar as teorias da conspiração. No entanto, segundo os pesquisadores, a melhor ferramenta para reconhecer informações falsas ainda é o bom senso humano e uma atitude crítica em relação a qualquer informação oferecida.