O mundo digital tem gosto, sente e cheira: humanidade, tem certeza?

Desde a década de 90 do século passado, o computador pessoal tornou-se uma janela para o mundo digital para dezenas, centenas de milhares e depois milhões de terráqueos; A partir da primeira década do século atual, o smartphone começou a deslocá-lo desta posição. Mas tanto um PC como um telemóvel, não importa quantos megapixels as suas matrizes de visualização contenham e quão profundos os graves sejam reproduzidos pelos altifalantes incorporados, continuam a ser como janelas: o maravilhoso mundo digital que exibem é estritamente limitado pelo molduras de tela, por causa das quais o usuário continua a observar o olhar implacável da realidade. Talvez seja o desejo de se livrar da pressão dessa visão, pelo menos por um tempo, que estimule o trabalho persistente dos pesquisadores em todos os tipos de versões de VR, AR, XR e MR – apesar da reação abertamente contida do público aos headsets que lhes são oferecidos, tanto virtuais quanto aumentados em diversas variantes (aumentada, estendida, mista) da realidade. “Contido”, no entanto, é para dizer o mínimo. Uma pesquisa realizada pela Security.org em meados de 2024 mostrou que quase metade (49%) dos americanos entrevistados não se preocupou em comprar um fone de ouvido VR simplesmente porque não via sentido nele (aliás, apenas 10% admitiram que sentiram tonturas ou outras sensações desagradáveis ​​ao tentar experimentar este tipo de interface para imersão em mundos digitais).

E, de facto: embora a visão e a audição sejam os sentidos que utilizamos mais ativamente, os óculos e os capacetes VR/AR já aprenderam a enganar bastante bem, nas outras três áreas – nomeadamente tato, olfato e paladar – as interfaces de computador ainda estão claramente atrasadas. O que não pode deixar de influenciar a percepção de um mundo artificial gerado por computador (parcialmente – no caso de VR, ou fragmentariamente – para AR/XR/MR): algum tipo de teclado numérico pode ser visto; você pode até ouvir o clique de suas teclas ao pressioná-lo, se os desenvolvedores do ambiente virtual cuidarem disso. Mas ao trabalhar nele, as pontas dos dedos não experimentarão sensações familiares e não emitirão o cheiro característico de plástico, e mesmo que, em sua busca pelo realismo, programadores inventivos consigam migalhas geradas por máquina caindo do teclado virtual invertido , você terá que experimentar o sabor. Não vai funcionar. E o cérebro humano está estruturado de forma bastante paradoxal: ele percebe as tentativas de imitá-lo obviamente longe da realidade com favor, mas quanto mais visivelmente essa lacuna diminui, mais forte é a desconfiança – e até o horror do que é observado (ver o conhecido “ efeito do vale misterioso”).

O gerador de aroma Cilia, já compatível com alguns jogos VR, funciona bem – mas, infelizmente, não é muito portátil (fonte: HapticSol)

Então, acontece que a imersão total na virtualidade é impossível na ausência de interfaces para interagir com o mundo digital por meio de canais táteis, olfativos e gustativos? É bastante provável, e se algum dia o Neuralink de Elon Musk ou outra interface neural semelhante em princípio de funcionamento aprender a influenciar diretamente as áreas correspondentes do cérebro, este problema será resolvido. No entanto, até agora o progresso nessa direção está avançando muito mais lentamente do que gostariam aqueles que desejam mergulhar rapidamente na virtualidade: em particular, os nanofios que fornecem contato físico entre a interface e o cérebro são cobertos por células gliais após algum tempo, o que prejudica o seu desempenho – e não existem medidas drásticas e ainda não foi proposta qualquer reacção a esta situação. Isto significa que, num futuro próximo, os bons e velhos meios não invasivos de comunicação homem-máquina permanecerão na agenda, o que enganará não o próprio cérebro diretamente, mas o sistema nervoso periférico nos órgãos dos sentidos correspondentes. Certamente isso será mais fácil?

⇡#Metaversos têm gosto diferente

No final de novembro de 2024, um artigo de um grupo de pesquisadores da City University of Hong Kong apareceu na conceituada publicação acadêmica americana Proceedings of the National Academy of Sciences apresentando interfaces de sabor portáteis para VR/AR/MR, que deveriam ser feito na forma dos conhecidos pirulitos. Em primeiro lugar, é conveniente (além disso, engolir acidentalmente tal aparelho ou mesmo engasgar com ele não será fácil); em segundo lugar, esta equipa escolheu claramente uma abordagem sistémica – anteriormente as suas áreas de interesse eram o cheiro móvel e as interfaces tácteis, que também envolvem uma utilização generalizada e generalizada. O aparelho, que em fase de desenvolvimento laboratorial ainda não tem nome próprio, contém em sua parte superior (que se espera que o usuário lamba, querendo sentir o sabor de determinado objeto virtual) mini-recipientes com gel de agarose – este é uma fração particularmente pura do ágar polissacarídeo linear natural, obtido de algas vermelhas do mar. Esse gel pode conter moléculas de diversos aditivos aromatizantes alimentares – a princípio, os pesquisadores experimentaram nove, formando os sabores de açúcar, sal, ácido cítrico, maracujá, chá verde, leite, durião (só sabor, inodoro, claro) e toranja. Sob a influência de uma corrente elétrica que passa pelo recipiente, o gel libera moléculas de aditivos ligadas, que migram para a superfície e, misturando-se com a saliva do usuário, criam uma sensação de sabor, que é mais pronunciada quanto mais forte for a corrente de ativação.

O pirulito digital, como sugerem seus desenvolvedores, deve se tornar parte de um complexo sistema VR com sensores de movimento das mãos e, claro, do próprio fone de ouvido de realidade virtual (fonte: PNAS)

Estritamente falando, o método químico de emulação de sabor por computador – entrega de aditivos de sabor diretamente às papilas gustativas do usuário – não é o único possível. Em 2018, a startup Multisensory Interactive Media Lab ofereceu pauzinhos eletrônicos – um dispositivo bastante simples em que bastões condutores terminam com um par de eletrodos que estimulam essas mesmas papilas através da saliva com correntes fracas – e assim criam a ilusão de um sabor salgado, por por exemplo, em alimentos aos quais não foi adicionado sal durante a cozedura. A julgar pelo fato de a extravagante startup não ter sobrevivido até hoje, a ideia não se justificava – principalmente porque seu fundador, Nimesha Ranasing, admitiu desde cedo que estava tendo dificuldade em reproduzir talvez o sabor mais popular do planeta – o doce. Suas varinhas eletrônicas foram capazes de criar sensações de azedo, salgado e até amargo, utilizando diferentes combinações de amplitude e frequência de corrente alternada, além de diferentes materiais para as pontas dos eletrodos. Não seria supérfluo salientar que a pseudoteoria, como dizem, difundida entre as massas sobre a sensibilidade seletiva das diferentes zonas da língua às diferentes sensações gustativas, é fundamentalmente incorreta: os cientistas ainda não conseguem responder com total certeza como exatamente as papilas gustativas extremamente complexas funcionam. E, aparentemente, a estimulação elétrica direta das papilas não é suficiente para transmitir adequadamente toda a paleta de gostos percebidos por uma pessoa.

Os criadores do pirulito digital em Hong Kong concentraram-se, portanto, precisamente em meios químicos de moldar as sensações gustativas do utilizador – e, de acordo com os resultados publicados, alcançaram o seu objetivo. Sua interface claramente não era pesada (o corpo feito em uma impressora 3D tem 8 cm de comprimento e 15 g de peso totalmente carregado). Versões com menos de 9 sabores reproduzidos simultaneamente permitem utilizar mais aditivos nutricionais para cada embalagem – o que, por sua vez, aumenta a intensidade máxima alcançável do sabor selecionado ou a duração de uso do refil. Os testes mostraram que no cenário operacional escolhido para o experimento (obviamente mais intensivo do que o uso prático de tal interface, mesmo em jogos VR específicos, pode implicar), um desses bloqueios dura cerca de uma hora. Segundo os desenvolvedores, o prazer do sabor artificial não será muito caro, já que todos os seus componentes químicos são produzidos em massa em grandes volumes, portanto o custo de produção em massa deve ser baixo. Outra coisa é se essa produção será estabelecida? Em outras palavras, existe (ou existirá num futuro próximo) alguma demanda significativa por interfaces de computador?

«Hmmm, não há sal suficiente de novo… alguém pegou meus e-sticks? (Fonte: Laboratório de mídia interativa multissensorial)

⇡#Chu! Havia um cheiro de violetas digitais…

Os receptores químicos – tanto gustativos quanto olfativos – estão entre os mais antigos no arsenal dos organismos vivos e, portanto, são extremamente complexos: o número de várias células receptoras na membrana mucosa do nariz humano chega a 50 milhões, na língua – 400-500 milhares. Essas células individuais reagem ao contato com certas moléculas, produzindo um impulso excitante; então, esses impulsos nervosos chegam a neurônios especiais, cada um dos quais está associado a uma série de receptores – cada um com o seu. Como resultado, qualquer aroma natural (formado, via de regra, não por uma molécula específica, mas por toda uma combinação delas – em contraste com o cheiro “quimicamente puro” de monosubstâncias criadas artificialmente) inicia uma combinação especial de impulsos na rede neural associada a células receptoras, exclusivas dela, – e o padrão correspondente de ativação de neurônios está associado no cérebro a um aroma específico. A um nível descritivo, este esquema não é tão complicado, pelo que a ideia de criar um “nariz eletrónico” para a discriminação por máquina de odores especialmente importantes (metano numa mina, substâncias perigosas na bagagem, etc.) tem sido há muito tempo no ar – e já está tomando forma na forma daqueles usados ​​na prática de detectores de aromas artificiais. Mas uma coisa é identificar odores naturais por meio de algum tipo de sistema digital, e outra é gerar aromas para percepção de uma pessoa imersa na virtualidade.

Em 2023, a Nature Communications publicou um relatório de um grupo de pesquisadores chineses sobre a criação de um protótipo de interface olfativa sem fio em miniatura, com foco em seu uso em conjunto com fones de ouvido de realidade virtual. O princípio de funcionamento do aparelho é semelhante à interface de sabor que discutimos anteriormente, mas como os odores se espalham pelo ar, não é necessário o contato direto com a mucosa nasal do usuário – basta aprender como entregar de alguma forma o ar saturado de sabores mais próximo para a cavidade nasal. Estritamente falando, em uma escala mais substancial (cinema, por exemplo), unidades analógicas de produção de odores chamadas Smell-O-Vision e AromaRama foram usadas nos EUA em meados do século passado, e seus antecessores diretos operaram no teatro britânico salões na década de 1860 – distribuindo, porém, fragrâncias não de acordo com a ação que se desenrolava no palco, mas apenas com o propósito de divulgar o patrocinador da apresentação empresa de perfumes. Os geradores de aroma atuais também são essencialmente analógicos – uma vez que os receptores aromáticos não podem ser influenciados por métodos digitais; Dê-lhes moléculas naturais com uma configuração estritamente definida – mas pelo menos tais dispositivos sejam controlados por sistemas de computador adequadamente programados.

Uma interface de perfume japonesa com um atomizador ultrassônico – seu protótipo de laboratório é mostrado aqui – apesar de seu volume, permite sentir aromas correspondentes à sequência de vídeo (ou jogabilidade) demonstrada a uma distância confortável e sem máscaras (fonte: Tokyo Institute of Tecnologia)

Pela primeira vez, amplos círculos de desenvolvedores ao redor do mundo começaram a mostrar interesse pela realidade virtual computacional (indo além dos meios puramente audiovisuais) em meados da década de 1990 – desta vez inclui, por exemplo, o sistema gerador de aroma Ferris Productions usado na América parques de diversões ou seu trabalho colaborativo com monitores HUD analógicos do grupo britânico BOC. Para o treinamento naturalístico de bombeiros nos Estados Unidos, na mesma época, eles começaram a usar interfaces de cheiro controladas pelo operador que imergiam os cadetes (mas não os instrutores que monitoravam suas ações) na atmosfera única de queima de madeira, produtos petrolíferos e/ou borracha. No final da primeira década dos anos 2000, o bastão foi retomado pelos japoneses, que propuseram um gerador de aromas com válvulas eletromagnéticas, display olfativo, específico para visualização pessoal de vídeos ou jogos (principalmente voltados para culinária) – e forneceram com 32 aromas “básicos”, cuja emissão ou mistura individual permitiu reproduzir uma paleta de cheiros bastante ampla. Em 2018, o aparelho foi aprimorado, equipado com um atomizador (dispensador de substância líquida aromática) por meio de ondas ultrassônicas. O “display de aroma” modificado tornou-se mais compacto, mas ainda assim acabou sendo grande demais para ser integrado a um fone de ouvido.

O mesmo problema tem atormentado outros projetos semelhantes, como o sistema Cilia desenvolvido pela startup texana HapticSol (oferecido desde 2020 como um gadget de desktop – ou um sistema com capacidades reduzidas, mas usado no pescoço como um pingente de joia), para o qual existem até plugins de compatibilidade com motores Unity e Unreal Engine, embora, é claro, nem todos os jogos sejam capazes de usá-los. Mais recentemente, em 2022, a Arizona State University apresentou talvez o desenvolvimento mais avançado (em termos de aplicabilidade em sistemas VR) sob o nome simples de The Smell Engine – é feito na forma de uma pequena máscara cobrindo o nariz (como um oxigênio hospitalar). ) e fisicamente compatível com headsets comerciais de realidade virtual disponíveis atualmente. A integração competente do software The Smell Engine no mundo digital – através do motor Unity, em particular – permite criar cheiros com uma intensidade que depende da distância ao objeto digital que deve ser cheirado pelo usuário. É verdade que existe um tubo bastante grosso que se estende desde o próprio gerador de aroma até a interface nasal do usuário, o que é bastante aceitável no caso de uma amostra experimental, mas obviamente não é adequado para um dispositivo comercial.

A julgar pela expressão no rosto do experimentador, o cheiro gerado pelo The Smell Engine neste caso é bastante agradável (fonte: Arizona State University)

O desenvolvimento chinês mencionado um pouco antes em 2023, que foi relatado na Nature Communications, no futuro pode revelar-se uma base mais bem-sucedida para a imersão aromática em mundos virtuais – uma vez que é um conjunto de geradores unitários de odores livremente combináveis ​​(gerador olfativo , OG), cada um dos quais responsável pela formação de um único aroma. Um gerador separado é uma placa fina de aproximadamente 1,5×1,5 cm contendo um líquido aromático e um elemento de aquecimento; A potência de aquecimento (e, consequentemente, a força do aroma) é controlada por um sistema digital sem fio. E há um amplo espaço para a imaginação dos designers: você pode colocar alguns OGs diferentes em uma placa estreita, colocando-a bem debaixo do nariz do usuário, como um bigode falso de carnaval; você pode coletar nove desses elementos na superfície interna de uma máscara que cobre seu nariz e boca, etc. Há, é claro, muitos problemas com essa abordagem: apenas livrar-se das moléculas de um aroma liberado anteriormente enquanto segue em frente rapidamente para o próximo objeto virtual cheirado vale a pena, e mesmo com todos Devido à compactação dos OGs propostos, eles certamente não podem ser chamados de miniaturas. E, no entanto, o progresso em direção à realidade virtual olfativa é claramente observado, embora a imersão total nela ainda esteja longe.

⇡#Mãos – toque!

Em comparação com sabores e cheiros, transmitir sensações táteis ao usuário através de uma interface de computador parece ser uma tarefa quase trivial: muitos jogos modernos usam as capacidades táteis de controladores especializados (simplificando, vibração ativada em determinados momentos), e até mesmo para smartphones avançados feedback tátil ao interagir com A interface na tela é bastante típica. Na verdade, no final do século passado, quase simultaneamente com os primeiros capacetes VR, as luvas de computador surgiram como uma interface homem-máquina para operar convenientemente objetos no mundo digital, inclusive com feedback implementado pelos mesmos servomotores criadores de vibração. Já houve até projetos curiosos como um colete sensorial para galinhas, que permite acariciar o pássaro que o usa pela Internet, tocando em uma estatueta de pássaro pontilhada com sensores apropriados e emparelhada com o colete. Em uma palavra, desde que haja uma mão (ou costas, se falamos de almofadas em cadeiras de jogos com feedback tátil; ou simplesmente um pedaço de pele ao qual a influência tátil é transmitida através de um adesivo especial) e algum objeto em contato com nele, que pode ser equipado com servos, inclusive de altíssima precisão, não há problemas com a percepção tátil da virtualidade.

Você pode entender como o dono de uma galinha se sente quando tem a oportunidade de acariciar sua praga favorita remotamente, observando-a através de uma webcam e tocando uma estatueta de pássaro com sensores táteis. Mas para compreender o que o corydalis, vestido com um colete cheio de servomotores, experimenta quando nada de repente começa a acariciá-lo suavemente, são necessárias profundidades de percepção verdadeiramente Lovecraftianas-Kafkianas (fonte: IEEE Spectrum)

As dificuldades começam quando simplesmente não existe um objeto adequado: digamos, o feedback tátil no caso de um smartphone é mais frequentemente implementado pela vibração de todo o dispositivo – simplesmente porque colocar servos dedicados em seções individuais da tela é muito caro e não muito prático : a espessura do corpo do gadget definitivamente não irá reduzi-lo. No entanto, seria muito mais útil e conveniente se sob os dedos do usuário a tela plana de repente adquirisse volume exatamente onde o dedo pressiona – afinal, o feedback tátil (especialmente ao digitar, mas esta está longe de ser a única aplicação dessa tecnologia) muito facilita a interação com objetos do mundo digital exibidos no display. Desenvolvimentos semelhantes vêm acontecendo há vários anos, e um dos mais recentes entre eles foi feito na Universidade Carnegie Mellon – esta é uma camada bastante fina de Flat Panel Haptics, que pode ser colocada diretamente sob o (flexível, é claro) OLED. matriz. Nesse caso, a capacidade nem sempre prática da tela de um smartphone de alterar sua geometria sem perder suas propriedades básicas de funcionamento acaba sendo mais do que apropriada: as bombas eletroosmóticas introduzidas no Flat Panel Haptics bombeiam um líquido especial para a área desejada de a tela, sob a influência da qual uma fina camada incha – formando uma protuberância de até 1,5 mm de altura e de 2 a 10 mm de diâmetro, e a sensação é suficiente sólido. A formação (bem como o desaparecimento) de cada botão dinâmico leva cerca de 1 s, o que é suficiente para a grande maioria das aplicações, desde teclados na tela até elementos interativos de jogos mobile. O projeto ainda tem espaço para se desenvolver – emEm particular, seria bom para sua promoção bem-sucedida atrair a atenção de desenvolvedores de aplicativos populares e designers de novos smartphones ao mesmo tempo – mas, em geral, essa abordagem para dar profundidade tátil a objetos digitais nas telas parece bastante promissora. Além disso, a humanidade, tendo interagido estreitamente com telas sensíveis ao toque desde o início da década de 2010, está gradualmente percebendo cada vez mais claramente a importância e o valor das boas e velhas interfaces de “botão” que reforçam o feedback visual com feedback tátil – e os desenvolvedores, por exemplo, dos sistemas de controle automotivo recentemente seguiram claramente esta tendência.

Outra pergunta – o que fazer se não houver tela alguma? Na mesma realidade virtual, podem vir em socorro sofisticadas luvas de toque, cujo design impedirá, por exemplo, o aperto livre da mão se o usuário colocar nela um determinado objeto virtual – assim a pessoa terá a sensação de segurando fisicamente algum objeto digital. Sim, você terá que ajustar essa sensação: digamos, um golpe com uma espada real, devido à considerável inércia de sua lâmina, responderá não apenas na palma da mão que segura o cabo, mas também nos músculos do mão inteira, enquanto uma espada virtual não pesa nada (embora seja segurada com segurança graças à luva não completamente fechada devido à contra-ação dos servos) e, portanto, as impressões ao balançá-la serão completamente diferentes. Mas, novamente, como as interfaces táteis “luvas” são objetos físicos diretamente adjacentes ao corpo do usuário, uma solução aceitável certamente será encontrada.

Esta fada suspensa no ar é tão virtual quanto a imagem em um monitor normal de computador, mas você ainda pode tocá-la – que milagre! (fonte: Universidade de Tsukuba)

É possível prescindir de qualquer camada material entre a imagem digital e os órgãos humanos de percepção sensorial – em particular, tátil? A rigor, não será possível abandonar completamente a mediação da matéria – o nosso corpo está longe da percepção direta das ideias de Platão – mas é perfeitamente possível passar de objetos físicos grosseiros para ambientes um pouco mais etéreos. Refere-se ao método proposto por um grupo conjunto de pesquisadores de várias universidades japonesas para formar imagens visuais tridimensionais diretamente no ar usando lasers de femtossegundos. No ponto de foco de tal emissor, as moléculas dos gases que compõem o ar são ionizadas e excitadas ao estado de plasma, emitindo fótons de ondas bastante curtas, que são percebidos pelo olho humano como um brilho roxo-azulado. É interessante que se o mesmo procedimento for realizado com lasers gerando pulsos de nanossegundos, o plasma resultante acaba sendo muito duradouro (cada voxel, ou seja, pixel tridimensional da imagem formada no ar, mantém seu estado pelo mesmo nanossegundos) – e, portanto, perigoso para os seres humanos e para os objetos no meio ambiente: exibições tridimensionais induzidas por laser de nanossegundos são simplesmente perigosas se as precauções necessárias não forem tomadas.

Com o femtossegundo (1 fs = 10−15 s) tudo é muito mais simples (embora tecnicamente eles próprios sejam mais complexos): o sistema Fairy Lights criado pelos japoneses gera voxels com lasers infravermelhos, cada pulso dura até várias dezenas de femtossegundos ; Conseqüentemente, a micronuvem de plasma no ponto de foco não tem tempo de adquirir uma temperatura tão alta (devido ao curto período de bombeamento de energia) para danificar algum objeto físico ou queimar a pele de uma pessoa que estende a mão para uma imagem voxel suspensa no ar. Além disso: se o feixe de tal laser atingir, digamos, o dedo de uma pessoa que deseja tocar uma imagem etérea, outras moléculas são convertidas em plasma, o que muda a tonalidade do brilho da imagem para a parte quente do espectro visível e aumenta seu brilho (já que a densidade das moléculas na pele é claramente maior do que no ar), de modo que a imagem do voxel responde ao toque com clareza e sem quaisquer truques adicionais. Além disso: ondas de choque, inevitavelmente formadas quando partículas de plasma supersônicas colidem com o mesmo dedo de um experimentador curioso, exercem pressão puramente física sobre a pele – e uma pessoa sente, embora fracamente, mas com bastante clareza, um toque em uma entidade aparentemente imaterial! É claro que se Fairy Lights estiver devidamente emparelhado com um fone de ouvido de realidade aumentada, no futuro certamente será possível criar objetos fotorrealistas coloridos que respondam ao toque – então, é provável que aqueles usuários em potencial que hoje são basicamente nãoimagine o que eles deveriam fazer em mundos virtuais.

O paladar, o olfato e as interfaces táteis são uma área extremamente atraente de desenvolvimento de VR/AR/MR/XR, mas também apresenta muitos desafios aos pesquisadores. Miniaturizá-los é apenas um lado da questão; a proteção contra o uso injusto é outra, não menos importante. Por exemplo, se hackear um gerador de sabor ou aroma, na pior das hipóteses, só levará ao fato de que algumas bananas virtuais começarão a cheirar a morangos (porque introduzir o aroma de, por exemplo, durião no recipiente de um atomizador ultrassônico só é possível com canetas; um vírus de computador não vai ajudar aqui), então uma possível interrupção do funcionamento do laser de femtosegundo – de modo que ele comece a gerar pulsos de nanossegundos perigosos para a saúde – não terá as consequências mais agradáveis. Em qualquer caso, qualquer virtualização confiável dos sentidos que estão além da visão e da audição permanece uma questão de um futuro relativamente distante. Além disso, é difícil no momento dizer qual problema será resolvido mais rapidamente: este ou a criação de uma neurointerface invasiva totalmente funcional que não esteja sujeita à degradação por contato (no sentido do inevitável crescimento excessivo de células gliais com diminuição de a qualidade da troca de sinal com o tecido nervoso devido a isso). Espere e veja!