Um estudo realizado pelo grupo sem fins lucrativos METR descobriu que o uso de ferramentas de IA existentes para auxiliar na codificação pode, na verdade, desacelerar, em vez de acelerar, até mesmo desenvolvedores experientes. Esperava-se que programadores de IA conhecidos, como Cursor e GitHub Copilot, aumentassem a produtividade dos programadores escrevendo código automaticamente, mas, como escreve o TechCrunch, o estudo não confirmou isso.
Fonte da imagem: Mohammad Rahmani/Unsplash
Cursor e GitHub Copilot, impulsionados por modelos poderosos da OpenAI, Google DeepMind, Anthropic e xAI, certamente mostram ganhos significativos em tarefas de engenharia de software. No entanto, um teste realizado pelo METR em 10 de julho de 2025 questiona a extensão desses ganhos. Os participantes foram 16 desenvolvedores experientes de software de código aberto que foram solicitados a concluir 246 tarefas reais em grandes repositórios nos quais trabalham comumente. Metade das tarefas foi concluída com o uso de ferramentas avançadas de IA, incluindo o Cursor Pro, e a outra metade sem elas.
Antes do teste, os desenvolvedores presumiram que a IA reduziria o tempo necessário para concluir tarefas em 24%. No entanto, os resultados foram opostos: em média, o uso de assistentes de IA aumentou o tempo necessário para concluir tarefas em 19%. Como os pesquisadores observaram, isso foi inesperado, já que se esperava que a automação acelerasse o processo, e não o contrário.
Ao mesmo tempo, apenas 56% dos participantes já haviam trabalhado com o Cursor, embora quase todos (94%) já tivessem utilizado interfaces web baseadas em modelos de linguagem de grande porte. Antes do experimento, os desenvolvedores foram treinados para trabalhar com a ferramenta, a fim de minimizar o impacto da falta de experiência. Como resultado, ficou claro que o tempo gasto compondo consultas de texto para a IA e aguardando uma resposta, em vez de programar diretamente, reduzia significativamente o tempo de trabalho. Ao longo do caminho, descobriu-se que a IA tem dificuldade em trabalhar com códigos grandes e complexos.
Os autores do estudo enfatizaram que não estão tirando conclusões definitivas, embora afirmem que os sistemas de IA são ineficazes, pelo menos para desenvolvedores experientes. Ao mesmo tempo, acrescentaram que a tecnologia está se desenvolvendo rapidamente e os resultados do experimento podem ficar desatualizados em apenas três meses.