Mais da metade das respostas do ChatGPT a questões de programação estão incorretas – estudo

Recentemente, em meio ao entusiasmo em torno das tecnologias de IA, os programadores têm recorrido cada vez mais a chatbots baseados em IA, como o ChatGPT da OpenAI, para obter ajuda na escrita do código do programa, o que levou a uma diminuição no tráfego para o recurso Stack Overflow, que foi forçado a demitir quase 30% do pessoal.

Fonte da imagem: geralt/Pixabay

Acontece que é muito cedo para confiar na IA para escrever programas. De acordo com um estudo da equipe da Purdue University apresentado este mês na conferência Computer-Human Interaction, 52% das respostas de programação geradas pelo ChatGPT estavam incorretas.

Durante o estudo, os programadores da Purdue University analisaram mais de 517 perguntas no Stack Overflow e analisaram as respostas do chatbot ChatGPT. “Descobrimos que 52% das respostas do ChatGPT continham informações incorretas, 77% das respostas eram mais detalhadas do que as respostas humanas e 78% das respostas tinham vários graus de inconsistência com as respostas humanas”, observaram os pesquisadores.

A equipe também conduziu uma análise linguística de 2.000 respostas do ChatGPT selecionadas aleatoriamente e descobriu que elas eram “mais formais e analíticas”, mas também refletiam “sentimento menos negativo” – algo pelo qual a IA é normalmente conhecida.

Comentando os resultados do estudo, o site Futurism expressou preocupação com o fato de muitos programadores preferirem recorrer ao ChatGPT para obter ajuda. Pesquisadores da Purdue University entrevistaram 12 programadores e descobriram que 35% dos entrevistados preferiram confiar nas respostas do ChatGPT e não notaram erros nas respostas geradas por IA em 39% das vezes.

Os pesquisadores admitem que os usuários ficam cativados pela educação demonstrada pela IA. “Entrevistas semiestruturadas de acompanhamento revelaram que a linguagem educada, as respostas claramente formuladas no estilo de livro didático e a integridade foram alguns dos principais motivos pelos quais as respostas do ChatGPT pareciam mais convincentes, então os participantes baixaram a guarda e ignoraram algumas informações erradas nas respostas do ChatGPT”, eles relataram.

avalanche

Postagens recentes

Sony mostrou como poderá ser o controle do PlayStation em dez anos

A Sony publicou um vídeo em seu canal no YouTube retratando o que a tecnologia…

4 minutos atrás

Encontrou uma maneira de livrar permanentemente os resultados de pesquisa do Google dos conselhos de IA

Para aqueles que foram hostis ao aparecimento de resumos de informações gerados por inteligência artificial…

3 horas atrás

O tribunal ordenou que o Google calculasse quanto custaria a reforma da Play Store exigida pela Epic Games.

Na última quinta-feira, ocorreu a próxima audiência judicial no âmbito do processo em andamento entre…

4 horas atrás