A ampla adoção de grandes modelos de linguagem levou, previsivelmente, ao seu uso na escrita científica. Um grupo de cientistas tentou quantificar o uso de IA na preparação de publicações. Os resultados foram mistos: tanto positivos quanto negativos. Embora os revisores por pares estejam, em parte, resolvendo o problema, se eles também começarem a depender da IA, o desastre é inevitável.
Fonte da imagem: AI generation Grok 4.1/3DNews
Com a crescente publicação de artigos totalmente sem sentido, mesmo em periódicos científicos de alto impacto, evidenciada pelo número cada vez maior de retratações após a publicação, pesquisadores das Universidades de Berkeley e Cornell analisaram o uso de IA na preparação de artigos científicos para publicação. Eles estudaram o período entre 2018 e meados de 2024, abrangendo períodos anteriores e posteriores ao advento de modelos de linguagem em larga escala.
Um total de aproximadamente 2 milhões de artigos do site de pré-publicações arXiv (1,2 milhão), dos periódicos online SSRN (675.000) e bioRxiv (220.000) foram analisados. Os pesquisadores processaram resumos de publicações antigas (sem IA) com um modelo, depois os editaram com um editor de IA e, em seguida, os processaram novamente com o modelo para ensiná-lo a distinguir a criatividade puramente humana do trabalho gerado por máquina.
Como resultado, após o uso de IA, os autores aumentaram significativamente a taxa de submissão de seus artigos. Isso foi especialmente notável entre cientistas da Ásia e com nomes asiáticos. O aumento nas publicações chegou a 100% no bioRxiv e no SSRN, e a mais de 40% no arXiv. Os pesquisadores atribuíram esse resultado à ajuda da IA para superar a barreira linguística, já que muitos cientistas não eram falantes nativos de inglês. No geral, isso foi benéfico, pois permitiu que eles comunicassem seu trabalho a um público mais amplo em uma linguagem compreensível para a maioria.
A IA também tornou os textos “mais inteligentes” — linguisticamente mais complexos —, o que gerou mais confiança nas publicações. Em média, as pessoas escrevem de forma mais simples e nem sempre transmitem suas ideias com clareza. No entanto, surgiu uma desvantagem: os textos gerados por IA tinham menos probabilidade de serem publicados, permanecendo em status de pré-publicação. Enquanto isso, a publicação de um artigo aumentava drasticamente sua credibilidade.Valor.
É importante notar que a transição para a publicação é um processo longo, que muitas vezes se estende por meses. Isso significa que alguns artigos gerados por IA ainda estão em um estágio intermediário e, portanto, subvalorizados no trabalho em andamento. Com o tempo, mais e mais artigos gerados por IA serão publicados. Consequentemente, a correlação entre a clareza da linguagem complexa (IA) e a frequência de publicações aumentará.
Outro valor dos artigos gerados por IA é o aumento no número de citações de pesquisas relevantes, bem como a inclusão de publicações recentes. Nessa área, a IA superou significativamente os humanos. Mesmo que o valor científico de um artigo gerado por IA seja baixo, a ampla gama de citações por si só o torna cientificamente útil. Claramente, essa é uma qualidade muito importante, e só se desenvolverá se os autores não forem negligentes em verificar todas as citações por conta própria.
Outro valor dos artigos gerados por IA é o uso de termos comuns em vez de termos altamente especializados. Isso torna as publicações científicas compreensíveis para uma gama mais ampla de cientistas, o que é crucial para a pesquisa interdisciplinar.
Entre os aspectos negativos do uso da IA, os pesquisadores destacam uma lacuna significativa entre a beleza da apresentação e a qualidade real do trabalho científico. Uma fachada atraente pode ocultar a mediocridade, que é facilmente ignorada sem uma análise aprofundada do tema.
Os autores do estudo também admitem que podem ter subestimado a frequência do uso da IA em artigos científicos, o que reduz a relevância de suas descobertas. Por exemplo, os cientistas poderiam…Confie à IA a preparação de um rascunho e, em seguida, edite-o significativamente, removendo completamente quaisquer marcadores de texto gerados por máquina.
No entanto, a IA é uma ferramenta poderosa para expressar ideias, embora seu uso apresente o risco de comprometer os padrões de qualidade dos artigos científicos. Os revisores humanos representam um obstáculo, e há uma escassez catastrófica deles. Se eles também adotarem a IA, o valor das publicações científicas no mundo moderno poderá deteriorar-se ainda mais. É necessário um equilíbrio razoável, mas ainda não foi encontrado.