Cientistas com a ajuda da IA ​​aceleraram quatro vezes a conversão de pensamentos em fala por meio da interface neural

A revista Nature publicou dois artigos nos quais cientistas falavam sobre novos métodos para traduzir os pensamentos de pacientes com lesões cerebrais em fala e emoções. A transformação da atividade cerebral em comunicação de texto e voz ocorre por meio de um algoritmo de aprendizado de máquina. Os cientistas conseguiram quase quadruplicar a taxa de conversão de 18 ppm para 78. Isso está abaixo da taxa média de conversação de 160 ppm, mas um múltiplo do que era antes.

Fonte da imagem: Noah Berger/UCSF

Doenças neurodegenerativas, derrames ou lesões podem privar uma pessoa da fala de várias maneiras, mas uma delas é bastante fácil de corrigir. As tecnologias modernas permitem criar uma ponte entre as partes saudáveis ​​do cérebro responsáveis ​​pela fala ou pronúncia mental e os músculos que controlam as expressões faciais e permitem que você fale. O canal natural de comunicação entre os músculos e o cérebro pode ser interrompido em caso de doença ou lesão, e então a interface homem-computador e o algoritmo de aprendizagem vêm em socorro.

Um sensor ou vários sensores com eletrodos estão embutidos no cérebro do paciente, que estão incluídos nas áreas de atividade do cérebro humano responsáveis ​​​​pela pronúncia e fala (embora os cientistas ainda não entendam completamente o que são essas áreas). Em um caso, por exemplo, os cientistas instalaram 253 eletrodos na área da fala do córtex sensório-motor e na área do giro temporal superior de uma mulher após um acidente vascular cerebral. Depois da doença, ela não conseguia falar nem mesmo digitar.

Durante várias semanas, a IA foi treinada no exemplo do paciente pronunciando 1.024 palavras de um dicionário especialmente selecionado. Para simplificar o trabalho do algoritmo, ele quebrou todas as palavras em fonemas, dos quais eram apenas 39. Em seguida, o vocabulário da mulher foi ampliado para 125 mil palavras. O algoritmo da máquina foi capaz de reconhecer a pronúncia mental da mulher com erros de 25%, mas a uma velocidade de até 78 palavras por minuto.

O algoritmo também foi ensinado a reconhecer as emoções do paciente – tristeza, alegria, surpresa. Finalmente, usando uma antiga fita de vídeo de uma mulher, os cientistas criaram sua imagem de computador – um avatar – e forçaram-na a transmitir mensagens de texto em mensagens de voz. Na verdade, eles devolveram ao paciente a capacidade de falar.

Hoje, esses procedimentos de recuperação envolvem um longo treinamento em IA e a necessidade de estar constantemente conectado a um computador. Cientistas da Universidade da Califórnia em São Francisco (UCSF) e da Universidade da Califórnia em Berkeley, que implementaram a técnica apresentada, estão agora trabalhando em versões sem fio do tradutor. Algum dia isto aumentará a inclusão social de pessoas com problemas médicos semelhantes.