Criou óculos de sonar que traduzem a fala silenciosa em texto impresso

Um estudante de pós-graduação da Cornell University (EUA) Ruidong Zhang desenvolveu óculos EchoSpeech equipados com sonar que podem “ouvir” a fala silenciosa de seu usuário – articulação facial suficiente. Os óculos podem ser usados ​​como um dispositivo de entrada padrão.

Ruidong Zhang. Fonte da imagem: ruidongzhang.com

O novo projeto do autor é baseado no desenvolvimento anterior, no qual ele instalou câmeras em fones de ouvido sem fio. O formato dos óculos acabou sendo mais conveniente para essas finalidades: o usuário não precisa olhar para a câmera ou inserir algo no ouvido. Os dados dos alto-falantes e microfones instalados nos óculos são transmitidos sem fio para o smartphone, onde são processados ​​por algoritmos de inteligência artificial.

O primeiro uso requer a calibração do EchoSpeech, que permite que a IA estude as características das expressões faciais do usuário – bastam alguns minutos, durante os quais a pessoa é convidada, por exemplo, a ler alguns números. Quando a configuração é concluída, a precisão da operação do sistema atinge 95%. O uso de um smartphone para processamento de dados permite que os óculos permaneçam compactos e discretos, fornecem até 10 horas de duração da bateria e garantem que todas as informações permaneçam no telefone – seu desempenho é suficiente para processar todos os dados localmente.

Na prática, o EchoSpeech pode ter diversas utilidades: controlar programas em um PC, controlar silenciosamente um tocador de música sem as mãos, poder ditar uma mensagem em um show barulhento, ou mesmo trabalhar em conjunto com um sintetizador de voz para pessoas com problemas de fala – eles vai falar de novo. Agora, os autores do projeto estão considerando a possibilidade de trazer tecnologias para o mercado com a participação do programa de financiamento existente na Cornell University.