Cientistas da Universidade Cornell e do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST) desenvolveram o sistema WatchHand, que utiliza inteligência artificial para transformar um smartwatch comum em um dispositivo de rastreamento de mãos. O WatchHand opera em tempo real, utiliza o alto-falante e o microfone integrados de um smartwatch padrão e não requer nenhum hardware adicional.
Fonte da imagem: Jason Koski / Universidade Cornell
O sistema funciona emitindo ondas sonoras inaudíveis pelo alto-falante do smartwatch. As ondas refletidas são captadas pelo microfone do dispositivo, criando um perfil de eco. Um algoritmo de aprendizado de máquina processa esses dados diretamente no dispositivo para estimar a posição da mão em três dimensões.
Ao contrário dos sistemas de rastreamento de mãos vestíveis existentes, que dependem de câmeras ou sensores externos volumosos, o WatchHand não requer hardware adicional. Isso torna o sistema significativamente mais prático para o uso diário e escalável para milhões de dispositivos existentes.
O sistema foi testado com 40 participantes em quatro estudos separados, coletando aproximadamente 36 horas de dados de gestos. Ele foi avaliado em diversos modelos de smartwatch, em várias posições da mão e em ambientes ruidosos. Os resultados mostraram que o WatchHand consegue rastrear com precisão os movimentos dos dedos e as rotações do pulso em diversas condições.
Fonte da imagem: unsplash.com
O objetivo dos pesquisadores é transformar a própria mão humana em um dispositivo de entrada para interagir com computadores e outros sistemas digitais, reduzindo a dependência de teclados, mouses e telas sensíveis ao toque. “No futuro, com essa tecnologia de rastreamento de mãos, poderemos digitar usando apenas um smartwatch”, afirma Chi-Jung Lee, estudante de pós-graduação da Universidade Cornell e coautor do estudo. “Nossas mãos podem funcionar como um dispositivo de entrada para computadores.”
A tecnologia pode viabilizar uma ampla gama de aplicações, incluindo controle de computador baseado em gestos, sistemas de realidade aumentada e virtual e ferramentas de assistência para usuários com mobilidade reduzida ou dificuldades de fala. “O WatchHand reduz significativamente as barreiras ao rastreamento de mãos”, enfatizou Jiwan Kim, estudante de pós-graduação do KAIST e coautor do estudo. “Desde que qualquer dispositivo tenha um alto-falante e um microfone, nossa abordagem é aplicável.”
O sistema processa todos os dados localmente no smartwatch, resolvendo as preocupações com a privacidade associadas a sistemas de rastreamento baseados em nuvem. Isso também reduz a latência, permitindo a interação em tempo real sem a necessidade de computação externa. O WatchHand é baseado no subsistema acústico de dispositivos vestíveis, oferecendo vantagens em eficiência energética e precisão em comparação com sistemas baseados em visão computacional.
“O WatchHand reflete a visão mais ampla do meu laboratório de transformar dispositivos vestíveis comuns em plataformas inteligentes para rastreamento comportamental”, disse o professor associado da Universidade Cornell.Cheng Zhang, pesquisador da Universidade de Tecnologia, afirmou: “Com uma simples atualização de software, podemos potencialmente desbloquear novas funcionalidades em milhões de dispositivos existentes.”
No entanto, a tecnologia ainda apresenta limitações. Atualmente, funciona apenas em smartwatches com sistema Android e tem dificuldades em manter a precisão quando o usuário está em movimento, como ao caminhar. Os pesquisadores estão trabalhando para melhorar o desempenho nessas condições. Os resultados do estudo serão apresentados na Conferência ACM CHI sobre Fatores Humanos em Sistemas de Computação.