Mais da metade das respostas do ChatGPT a questões de programação estão incorretas – estudo

Recentemente, em meio ao entusiasmo em torno das tecnologias de IA, os programadores têm recorrido cada vez mais a chatbots baseados em IA, como o ChatGPT da OpenAI, para obter ajuda na escrita do código do programa, o que levou a uma diminuição no tráfego para o recurso Stack Overflow, que foi forçado a demitir quase 30% do pessoal.

Fonte da imagem: geralt/Pixabay

Acontece que é muito cedo para confiar na IA para escrever programas. De acordo com um estudo da equipe da Purdue University apresentado este mês na conferência Computer-Human Interaction, 52% das respostas de programação geradas pelo ChatGPT estavam incorretas.

Durante o estudo, os programadores da Purdue University analisaram mais de 517 perguntas no Stack Overflow e analisaram as respostas do chatbot ChatGPT. “Descobrimos que 52% das respostas do ChatGPT continham informações incorretas, 77% das respostas eram mais detalhadas do que as respostas humanas e 78% das respostas tinham vários graus de inconsistência com as respostas humanas”, observaram os pesquisadores.

A equipe também conduziu uma análise linguística de 2.000 respostas do ChatGPT selecionadas aleatoriamente e descobriu que elas eram “mais formais e analíticas”, mas também refletiam “sentimento menos negativo” – algo pelo qual a IA é normalmente conhecida.

Comentando os resultados do estudo, o site Futurism expressou preocupação com o fato de muitos programadores preferirem recorrer ao ChatGPT para obter ajuda. Pesquisadores da Purdue University entrevistaram 12 programadores e descobriram que 35% dos entrevistados preferiram confiar nas respostas do ChatGPT e não notaram erros nas respostas geradas por IA em 39% das vezes.

Os pesquisadores admitem que os usuários ficam cativados pela educação demonstrada pela IA. “Entrevistas semiestruturadas de acompanhamento revelaram que a linguagem educada, as respostas claramente formuladas no estilo de livro didático e a integridade foram alguns dos principais motivos pelos quais as respostas do ChatGPT pareciam mais convincentes, então os participantes baixaram a guarda e ignoraram algumas informações erradas nas respostas do ChatGPT”, eles relataram.