ChatGPT supera alunos nas provas, mas apenas nos primeiros anos

Os pesquisadores conduziram um experimento que mostrou que a IA é capaz de passar com êxito nos exames universitários, permanecendo sem ser detectada por programas especiais. As provas do ChatGPT receberam notas mais altas do que as dos alunos, escreve Ars Technica.

Fonte da imagem: Progresso/Unsplash

Uma equipe de cientistas da Universidade de Reading, na Inglaterra, liderada por Peter Scarfe, conduziu um experimento em grande escala para testar a eficácia com que os sistemas modernos de inteligência artificial podem lidar com os exames universitários. Os pesquisadores criaram mais de 30 contas fictícias de estudantes de psicologia e as usaram para fazer exames usando respostas geradas pelo ChatGPT. O experimento abrangeu cinco módulos de graduação em psicologia, incluindo tarefas para todos os três anos de estudo.

Os resultados foram surpreendentes: 94% dos artigos gerados por IA passaram despercebidos pelos examinadores. Além disso, quase 84% desses trabalhos receberam notas mais altas do que as dos estudantes humanos, uma média de meio ponto a mais. “Os examinadores ficaram bastante surpresos com os resultados”, disse Scarfe. Além disso, é interessante que alguns trabalhos de IA tenham sido descobertos não porque fossem robóticos, mas porque a sua qualidade era demasiado elevada.

A experiência também revelou as limitações dos sistemas existentes para detecção de conteúdo gerado por IA. Ferramentas como o GPTZero da Open AI e o sistema Turnitin funcionam bem no laboratório, mas sua eficácia cai significativamente em uma situação da vida real, diz Scarfe. No entanto, nem todos os resultados foram a favor da IA. No curso final, onde eram necessárias uma compreensão mais profunda e habilidades analíticas complexas, os alunos humanos tiveram um desempenho melhor do que o ChatGPT-4.

Scarfe sublinhou que, com a IA em constante melhoria e a falta de formas fiáveis ​​de detectar a sua utilização, as universidades terão de adaptar e integrar a IA no processo educativo. “O papel da universidade moderna é preparar os alunos para a carreira profissional e a realidade é que depois da formatura irão, sem dúvida, utilizar diversas ferramentas de inteligência artificial”, concluiu o investigador. Esta experiência levanta essencialmente um problema que hoje (não amanhã) exige uma revisão dos métodos de ensino e exame existentes.