Segundo os pesquisadores, o sistema de reconhecimento de fala Whisper da OpenAI às vezes sofre de alucinações, ou seja, está empenhado em inventar fatos. Engenheiros de software, desenvolvedores e cientistas expressaram sérias preocupações de que esse recurso do algoritmo de IA pudesse causar danos reais, uma vez que o Whisper já é usado em ambientes médicos, entre outros.
Fonte da imagem: Growtika/unsplash.com
A tendência das redes neurais generativas de inventar fatos ao responder às perguntas dos usuários tem sido discutida há muito tempo. No entanto, é estranho ver esse recurso no algoritmo Whisper, que é projetado para reconhecimento de fala. Os pesquisadores descobriram que um algoritmo de reconhecimento de fala pode incluir qualquer coisa no texto gerado, desde comentários racistas até procedimentos médicos fictícios. Isso pode causar danos reais, pois o Whisper começou a ser usado em hospitais e outros ambientes de saúde.
Um pesquisador da Universidade de Michigan que estudou transcrições de reuniões públicas geradas pelo Wisper encontrou imprecisões na transcrição de 8 entre 10 gravações de áudio. Outro pesquisador examinou mais de 100 horas de áudio transcrito pelo Whisper e encontrou imprecisões em mais da metade deles. Outro engenheiro disse que encontrou imprecisões em quase todas as 26 mil transcrições que criou usando o Wisper.
Um representante da OpenAI disse que a empresa trabalha constantemente para melhorar a qualidade de suas redes neurais, inclusive reduzindo o número de alucinações. Ele também acrescentou que a política da empresa proíbe o uso do Whisper “em certos contextos de tomada de decisão de alto risco”. “Agradecemos aos pesquisadores por compartilharem seus resultados”, acrescentou o porta-voz da OpenAI.