Descobriu-se que os assistentes de IA não aumentam a produtividade dos programadores

Os autores do estudo Uplevel, que abrangeu as atividades de cerca de 800 desenvolvedores de software, argumentam que o uso de ferramentas de inteligência artificial para escrever código de software ainda não revelou qualquer aumento na produtividade de especialistas especializados, nem uma diminuição no seu esgotamento emocional.

Fonte da imagem: Unsplash, Luca Bravo

O estudo comparou o desempenho profissional de uma amostra de 800 desenvolvedores durante dois períodos de três meses. No primeiro período, os programadores trabalharam com ferramentas tradicionais, no segundo passaram a usar o assistente GitHub Copilot AI. Vale ressaltar que tal migração não afetou particularmente a produtividade dos desenvolvedores neste experimento.

Inicialmente esperava-se que o uso do GitHub Copilot reduzisse o número de erros no código do programa e aumentasse a produtividade, mas na verdade no primeiro caso houve um aumento no número de erros em 41%, e tentativas de usar um O assistente de IA não levou a uma melhora significativa na situação de esgotamento emocional dos especialistas. De acordo com o GitHub, usar o assistente Copilot pode aumentar a velocidade dos desenvolvedores escrevendo código em 55%.

Alguns especialistas admitiram que seções de código de programa escritas com IA são difíceis de analisar e identificar erros, por isso às vezes é mais fácil reescrever o fragmento desejado novamente. Nos estágios iniciais de desenvolvimento do ChatGPT, por exemplo, notou-se que este chatbot simplesmente interpretava mal mais da metade de todas as solicitações relacionadas à otimização do trabalho dos criadores de código de programa. Os representantes da Gehtsoft, por exemplo, estão convencidos de que o desenvolvimento de software depende 90% das funções do cérebro humano em termos de compreensão dos requisitos, concepção de um sistema e identificação de restrições. Transformar dependências mútuas geradas em código de programa é a parte mais fácil do trabalho de um programador.

Por outro lado, há quem elogie o poder da IA ​​no desenvolvimento de código de software. Representantes do provedor de serviços em nuvem Innovative Solutions, por exemplo, observam um aumento de quase três vezes na produtividade após mudar para o uso de assistentes de IA, como Claude Dev e Copilot.