O Microsoft 365 Copilot não conseguiu aumentar a produtividade entre os funcionários públicos do Reino Unido

O governo britânico realizou um teste de três meses com o assistente de IA Copilot, da Microsoft, para o M365, e não encontrou nenhum aumento perceptível na produtividade dos funcionários. Embora algumas tarefas tenham sido concluídas mais rapidamente, outras se tornaram mais difíceis devido à baixa qualidade dos materiais fornecidos pela IA, relata o The Register. No entanto, o teste foi realizado há quase um ano, período em que o assistente de IA deveria ter se tornado “mais inteligente”.

O Departamento de Negócios e Comércio do Reino Unido recebeu 1.000 licenças para usar o Copilot correspondente entre outubro e dezembro de 2024. A maioria das licenças foi obtida por voluntários, e 30% dos participantes foram selecionados aleatoriamente. Cerca de 300 participantes concordaram em ter seus dados analisados. Descobriu-se que 72% dos usuários estavam “satisfeitos” ou “muito satisfeitos” com o trabalho do assistente de IA e não estavam particularmente satisfeitos ao final do teste. No entanto, o aumento real na produtividade foi misto.

Cerca de dois terços dos participantes usaram o Microsoft 365 Copilot pelo menos uma vez por semana e 30% o usaram pelo menos uma vez por dia. No Reino Unido, as assinaturas mensais custam entre £ 4,90 e £ 18,10 por usuário, portanto, os custos podem ser significativos para uma operação governamental.

Fonte da imagem: Departamento de Negócios e Comércio

Em média, houve apenas 72 interações com o Copilot por usuário ao longo de 63 dias úteis, ou cerca de 1,14/dia. O Copilot foi usado com mais frequência no Word, Teams e Outlook, significativamente menos no PowerPoint e Excel, e menos no Loop e OneNote. As três principais tarefas foram transcrever ou resumir uma reunião, escrever e-mails e criar um resumo de notas. Essas foram as tarefas que foram “satisfeitas”. O Copilot foi solicitado a criar um cronograma, verificar o código e gerar uma imagem com menos frequência.

O tempo gasto em uma tarefa usando o Copilot foi registrado e comparado ao tempo que os funcionários levaram para concluí-la manualmente. Descobriu-se que os usuários do Copilot no M365 conseguiram resumir relatórios e escrever e-mails com mais rapidez, com maior qualidade e precisão do que aqueles que não usaram o bot. No entanto, a economia de tempo na redação de e-mails, por exemplo, foi insignificante. A análise de dados no Excel foi realizada pelo bot de forma mais lenta e com pior qualidade e precisão do que manualmente. Os slides do PowerPoint foram criados em média 7 minutos mais rápido, mas a qualidade e a precisão foram piores, e os resultados tiveram que ser corrigidos manualmente.

Fonte da imagem: Departamento de Negócios e Comércio do Reino Unido

De acordo com os participantes do experimento, tarefas administrativas rotineiras são mais eficientes com o Microsoft 365 Copilot, liberando tempo para tarefas mais importantes. Outros participantes do experimento relataram que usaram o tempo economizado para participar de treinamentos ou fazer caminhadas durante o horário de almoço. Mas tudo isso não significa que o assistente de IA realmente aumentou a produtividade dos funcionários, embora a própria Microsoft enfatize a economia de tempo ao promover o Copilot.

Além disso, 22% dos participantes notaram a presença de “alucinações” no assistente de IA, 43% não as notaram, outros 11% não souberam afirmar com certeza se houve “alucinações” durante o teste e os demais permaneceram em silêncio. Ao mesmo tempo, a atitude dos colegas em relação aos usuários do Copilot também foi ambígua — alguns trataram os participantes do experimento com certa frieza. Antes de tomar uma decisão final sobre a implementação em massa do Microsoft 365 Copilot, o Departamento realizará uma análise de custos ambientais e calculará a relação preço-qualidade do serviço.