A IA consegue extrair todos os dados sobre a atividade muscular da mão do usuário a partir do registro da tela sensível ao toque do smartphone.

A inteligência artificial foi treinada para detectar a atividade da mão de um usuário de smartphone, analisando dados de toque e deslize registrados na tela sensível ao toque. Usando coordenadas de toque e movimentos característicos dos dedos, a IA determina a atividade musculoesquelética do usuário, prevendo o início da fadiga causada pelo uso de interfaces de aplicativos. Isso ajudará a otimizar as interfaces e adaptá-las para pessoas com deficiência.

Fonte da imagem: Universidade Aalto

O estudo foi conduzido por pesquisadores da Universidade Aalto, na Finlândia, e da Universidade de Leipzig. Eles desenvolveram um modelo de IA inovador, o Log2Motion, que nos ajuda a entender por que a interação prolongada com smartphones causa fadiga física. Os registros de tela tradicionais apenas registram as coordenadas de toques e gestos de deslizar, mas não refletem o esforço muscular real e o gasto energético do usuário. O novo sistema resolve esse problema convertendo os dados de registro em uma simulação realista dos movimentos dos dedos na tela, levando em consideração a biomecânica do corpo humano. Esta é a primeira ferramenta desse tipo que permite a pré-avaliação da ergonomia das interfaces de aplicativos móveis.

O modelo Log2Motion é baseado na modelagem digital do sistema musculoesquelético humano: ele reproduz os movimentos do dedo indicador, calculando a atividade de quase 70 músculos, bem como a velocidade, a precisão e o gasto energético total com base em dados de captura de movimento anteriores. A simulação é executada em tempo real em um emulador de smartphone e permite a análise de cada toque e gesto. Isso permite que os designers quantifiquem o esforço físico envolvido na interação com uma interface específica, algo que antes era impossível para os desenvolvedores.

As principais conclusões do estudo mostraram que os gestos de deslizar para cima e para baixo na vertical, bem como as interações com ícones pequenos e elementos nos cantos da tela, exigem o maior esforço. Esses gestos aumentam significativamente a tensão muscular em comparação com movimentos horizontais ou interações com elementos centrais.interface. Os cientistas enfatizam que até pequenas diferenças na disposição dos elementos podem impactar significativamente a experiência do usuário.

Os desenvolvedores esperam que o Log2Motion se torne uma ferramenta padrão para a criação de interfaces mais ergonômicas e agradáveis, especialmente para pessoas com deficiências, como aquelas com tremores, fraqueza muscular ou que usam próteses. Este modelo foi testado usando a tela de um smartphone sobre uma mesa, mas pode ser adaptado para outros cenários, como quando o usuário está deitado em um sofá e segurando o smartphone com uma das mãos.

Além disso, essas funcionalidades nos permitem aprender muito mais sobre o usuário, seus hábitos e até mesmo seu condicionamento físico. Resta saber quando os orçamentos de publicidade serão investidos nisso e qual será o impacto.