Os tweets escritos por IA com base no GPT-3 acabaram sendo mais persuasivos do que os de pessoas reais

De acordo com um estudo conduzido por cientistas do Instituto de Ética Biomédica e História da Medicina da Universidade de Zurique, na Suíça, os tweets criados pelo modelo de linguagem grande GPT-3 da OpenAI foram mais persuasivos do que as postagens de pessoas reais. Ao mesmo tempo, o GPT-3 está longe de ser a versão mais moderna do modelo.

Fonte da imagem: OpenAI

Os autores do estudo pediram aos participantes da pesquisa que distinguissem entre tweets escritos por humanos e aqueles gerados por IA. Além disso, era necessário decidir se alguma das informações publicadas estava correta, incluindo conteúdos relacionados a temas polêmicos como a eficácia das vacinas e as mudanças climáticas, frequentemente utilizadas para manipular massivamente a opinião pública na web.

Descobriu-se que a desinformação é mais difícil de detectar se for escrita por bots. Ao mesmo tempo, paradoxalmente, informações confiáveis ​​escritas por bots são mais fáceis de reconhecer. Em outras palavras, as pessoas no estudo eram mais propensas a acreditar na IA do que outras pessoas, não importa o quão precisas fossem as informações, mostrando como os modelos de linguagem podem se tornar perigosos quando usados ​​para desinformar.

Os pesquisadores selecionaram 11 tópicos científicos discutidos no Twitter, incluindo vacinas e COVID-19, mudanças climáticas e teoria da evolução, e então incumbiram o GPT-3 de criar postagens com informações verdadeiras ou falsas. Depois disso, mais de 600 entrevistados de língua inglesa dos EUA, Reino Unido, Canadá, Austrália e Irlanda foram entrevistados – o conteúdo criado pelo GPT-3 acabou sendo indistinguível do conteúdo criado por pessoas. Ao mesmo tempo, os próprios pesquisadores não tinham 100% de certeza de que o conteúdo “orgânico” coletado da rede social para comparação não foi escrito por serviços como o ChatGPT. Além disso, os participantes da pesquisa foram solicitados a avaliar as postagens “fora de contexto” – eles não viram o perfil do autor, o que pode ajudá-los a tirar a conclusão certa, pois até postagens anteriores no feed da conta e na foto do perfil podem dar uma dica sobre sua natureza.

Os participantes tiveram mais sucesso em distinguir desinformação escrita por usuários reais do Twitter, e o GPT-3 foi um pouco mais eficaz em persuadir os usuários. Vale lembrar que já existem pelo menos os modelos GPT-3.5 e GPT-4, que atendem ainda melhor a uma variedade de tarefas. No entanto, descobriu-se que o GPT-3 faz um trabalho pior na avaliação de tweets do que os humanos, pelo menos em alguns casos. Portanto, ao identificar as informações corretas nas postagens, o GPT-3 teve um desempenho pior do que as pessoas e, ao detectar desinformação, a IA e as pessoas lidaram com o mesmo.

Talvez uma melhoria adicional dos mecanismos de segurança dos modelos de linguagem impeça a criação de conteúdo malicioso com a ajuda deles. Portanto, o GPT-3 às vezes se recusava a gerar materiais não confiáveis ​​​​sob as instruções dos cientistas, em particular sobre vacinas e autismo. Provavelmente, o fato é que durante o treinamento muitos dados foram usados, dedicados a desmascarar as teorias da conspiração. No entanto, segundo os pesquisadores, a melhor ferramenta para reconhecer informações falsas ainda é o bom senso humano e uma atitude crítica em relação a qualquer informação oferecida.