Mais da metade das respostas do ChatGPT a questões de programação estão incorretas – estudo

Recentemente, em meio ao entusiasmo em torno das tecnologias de IA, os programadores têm recorrido cada vez mais a chatbots baseados em IA, como o ChatGPT da OpenAI, para obter ajuda na escrita do código do programa, o que levou a uma diminuição no tráfego para o recurso Stack Overflow, que foi forçado a demitir quase 30% do pessoal.

Fonte da imagem: geralt/Pixabay

Acontece que é muito cedo para confiar na IA para escrever programas. De acordo com um estudo da equipe da Purdue University apresentado este mês na conferência Computer-Human Interaction, 52% das respostas de programação geradas pelo ChatGPT estavam incorretas.

Durante o estudo, os programadores da Purdue University analisaram mais de 517 perguntas no Stack Overflow e analisaram as respostas do chatbot ChatGPT. “Descobrimos que 52% das respostas do ChatGPT continham informações incorretas, 77% das respostas eram mais detalhadas do que as respostas humanas e 78% das respostas tinham vários graus de inconsistência com as respostas humanas”, observaram os pesquisadores.

A equipe também conduziu uma análise linguística de 2.000 respostas do ChatGPT selecionadas aleatoriamente e descobriu que elas eram “mais formais e analíticas”, mas também refletiam “sentimento menos negativo” – algo pelo qual a IA é normalmente conhecida.

Comentando os resultados do estudo, o site Futurism expressou preocupação com o fato de muitos programadores preferirem recorrer ao ChatGPT para obter ajuda. Pesquisadores da Purdue University entrevistaram 12 programadores e descobriram que 35% dos entrevistados preferiram confiar nas respostas do ChatGPT e não notaram erros nas respostas geradas por IA em 39% das vezes.

Os pesquisadores admitem que os usuários ficam cativados pela educação demonstrada pela IA. “Entrevistas semiestruturadas de acompanhamento revelaram que a linguagem educada, as respostas claramente formuladas no estilo de livro didático e a integridade foram alguns dos principais motivos pelos quais as respostas do ChatGPT pareciam mais convincentes, então os participantes baixaram a guarda e ignoraram algumas informações erradas nas respostas do ChatGPT”, eles relataram.

avalanche

Postagens recentes

Slitterhead é um japonês estranho, assim como os bons e velhos. Análise

Jogado no Xbox Series S A equipe do Sony Japan Studio é fornecedora de alguns…

47 minutos atrás

Startup xAI de Elon Musk receberá US$ 5 bilhões dos árabes para comprar mais 100 mil aceleradores NVIDIA

Conforme relata a CNBC, a startup xAI de Elon Musk atraiu investimentos multibilionários: o dinheiro…

4 horas atrás

Sandia National Laboratories lançou o sistema Kingfisher AI em enormes chips Cerebras WSE-3

O Departamento de Energia dos EUA (DOE) Sandia National Laboratories (SNL), em parceria com a…

4 horas atrás

Resíduos de Bourbon podem se tornar uma fonte de energia limpa

Nos próximos cinco anos, a produção de bourbon – whisky de milho – no Kentucky…

8 horas atrás