Computadores neuromórficos: o caso Loihi

O ponto mais alto de Loihi (uma grafia mais precisa, refletindo as peculiaridades da fonética aborígene, é Lö’ihi, “longo”) eleva-se acima do fundo do oceano circundante por mais de 3 km e está separado da superfície por menos de 1 km. . Esta montanha, embora escondida debaixo de água, com os seus contornos – até a presença de uma caldeira bem definida – assemelha-se fortemente aos picos vulcânicos activos do arquipélago que já se encontram à superfície: Kilauea e Mauna Loa. Se a teoria do ponto quente, bem fundamentada pelos geólogos, estiver correta, depois de algum tempo Loihi aumentará, tornando-se outra ilha completa – a princípio, é claro, pequena, depois cada vez maior – na cordilheira havaiana.

A analogia com os computadores neuromórficos é bastante clara aqui: por enquanto, eles, como o vulcão que leva o nome do chip da Intel, estão em estado “subaquático”; na fase, na melhor das hipóteses, de pré-produção ou mesmo de protótipos de laboratório e, na pior das hipóteses, simplesmente não indo além de conceitos puramente especulativos. Com o tempo, porém, espera-se que “venham à superfície” – na forma de produtos completamente prontos para produção em massa e uso generalizado. Enquanto isso, até mesmo o próprio microprocessador Loihi, que atingiu a segunda geração em 2021 (e a terceira, eu gostaria de acreditar, está agora em algum lugar a caminho), representa uma espécie de compromisso entre a neuromorficidade verdadeiramente de hardware e inteiramente de software – um compromisso que merece menos do que toda a nossa atenção.

Conjunto de pesquisa Wolf Mountain contendo quatro chips Loihi de primeira geração: um total de 512 núcleos neuromórficos, ou seja, 524.288 neurônios artificiais e 520 milhões de sinapses (fonte: Intel)

⇡#O silício é um salva-vidas

A apresentação oficial do primeiro processador neuromórfico Loihi aconteceu em 2017 – justamente como um chip para pesquisadores interessados ​​neste novo rumo de desenvolvimento de TI do ponto de vista prático e que necessitam de uma base de hardware para testar suas hipóteses. Fabricado de acordo com os padrões tecnológicos “14nm”, um único chip de silício Loihi ocupava uma área de 60 mm² e continha 2,1 bilhões de transistores. Para controlar o fluxo de dados entre os nós da rede neural (orquestração), três núcleos do processador Lakemont x86 foram localizados no mesmo substrato, enquanto o número dos próprios núcleos neurais atingiu 128 – 1.024 neurônios artificiais com 1.024 sinapses cada. Cada núcleo tinha 208 KB de memória SRAM, e o estado atual (estado local) de cada neurônio era descrito por um número de 24 bits. A principal característica da arquitetura Loihi e de sua sucessora Loihi 2 é que elas implementam redes neurais de pico assíncrono (SNN), das quais falamos no material anterior sobre computadores neuromórficos. Em vez de manipular níveis fixos de sinais de entrada (interpretando esses níveis como coeficientes para posterior soma ponderada), os neurônios das redes de impulso respondem aos impulsos reais – o próprio fato de sua chegada codifica alguns dados.

A natureza assíncrona do SNN implementado em Loihi significa a ausência de um “ritmo líder” comum que seja uniforme para toda a estrutura neural, apenas de acordo com os ciclos de clock dos quais os impulsos de sinal podem ou não chegar às sinapses dos neurônios: aqui os sinais se propagam entre os nós da rede sem referência a um cronograma geral. De tempos em tempos, de acordo com seu estado específico, um neurônio individual gera o mesmo pico que deu nome a esse tipo de rede neural – um único impulso, análogo ao potencial de ação de um neurônio biológico – e o envia para seus vizinhos. através de contatos diretos chamados sinapses (a semelhança com as sinapses biológicas é puramente funcional; a implementação de silício de um computador neuromórfico não prevê quaisquer lacunas sinápticas ou neurotransmissores, pelo menos no estágio atual de desenvolvimento tecnológico). Quando exatamente cada neurônio específico irá gerar o próximo pico é determinado pela já mencionada função de seu estado (estado local). Assim, é construída uma rede dinâmica e altamente conectada na qual – ao contrário das camadas perceptron das redes neurais profundas “comuns” (que são simplesmente chamadas de artificiais, sem maiores especificações: rede neural artificial, RNA) – os nós interagem individualmente, trocando um unificado. impulsos de bits.

Diagrama esquemático da operação de um único núcleo neuromórfico como parte do processador Loihi (fonte: Intel)

Um neurônio dentro de uma SNN que recebe tais impulsos de seus vizinhos os acumula – e ao atingir um determinado limite, ele se dispara, gerando e enviando o próximo potencial de ação para os neurônios já conectados a ele. Essa distribuição também é realizada por meio de uma rede assíncrona no chip (NoC), que garante a entrega dos sinais correspondentes aos núcleos neuromórficos (neurônios artificiais), e o protocolo de comunicação prevê o dimensionamento dessa rede para 4.096 núcleos em um chip (em a primeira geração Loihi, porém, são apenas 128), e com o uso de endereçamento hierárquico – até 16.384 chips. Cada núcleo neuromórfico (neurônio artificial individual) tem sua própria função de estado; ele muda durante o processo de aprendizagem da rede neural e, em última análise, determina exatamente quando (ou seja, ao receber quantos picos de entrada) um determinado núcleo irá gerar seu próprio impulso. Os núcleos neuromórficos Loihi contêm um “motor de aprendizagem”, com o qual você pode ajustar o significado de cada uma das sinapses, e as células de memória SRAM integradas permitem registrar as configurações que adquirem durante o treinamento, atualizando-as à medida que a rede neural melhora na execução de as tarefas que lhe são confiadas – seja o reconhecimento de padrões ou o controle de um mecanismo robótico.

É nesse sentido, como argumentaram os desenvolvedores da primeira geração do Loihi, que sua ideia era superior aos concorrentes que existiam na época de seu surgimento, entre os quais o mais famoso é o neuroprocessador IBM chamado TrueNorth (o projeto de desenvolvimento de que começou em 2008 sob os auspícios da conhecida agência DARPA). TrueNorth – como o Neurogrid desenvolvido na Universidade de Stanford, o sistema BrainScaleS da Universidade de Heidelberg e o projeto de neurosimulador SpiNNaker da Universidade de Manchester baseado em mais de 1 milhão de núcleos ARM9 – emula com sucesso a operação paralela essencialmente multicanal de sistemas neurais biológicos. estruturas devido à formação de canais de dados dedicados entre núcleos neuromórficos, cada um dos quais equipado com centenas e milhares de sinapses. Mas o próprio isolamento desses canais – ao qual se resume o treinamento de uma rede neural, ou seja, a formação da estrutura das conexões sinápticas em um “cérebro” artificial – é realizado offline, na maioria das vezes durante a emulação da operação de um neuromórfico. sistema em um supercomputador von Neumann. Loihi, por sua arquitetura mais sofisticada e com memória sináptica distribuída, é adequado tanto para treinamento quanto para execução de padrões de comportamento previamente aprendidos – e nesse sentido, na época de seu surgimento, era considerado único.

À esquerda está um modelo matemático de uma rede neural totalmente conectada; à direita está um diagrama de sua implementação em um núcleo neurossináptico separado do chip IBM TrueNorth através de uma rede de malha bastante simples de “dendritos” e “axônios”, pontos de interseção selecionados dos quais formam conexões sinápticas (fonte: IEEE)

⇡#Segunda corrida

Qual é o sentido de criar computadores neuromórficos baseados em silício – se é a mesma coisa organizar fluxos de dados entre seus nós individuais dentro de uma rede híbrida (híbrida, já que mesmo que dentro de um neurochip a rede sináptica seja “honestamente” organizada no nível de fiação do barramento, então a transferência de dados entre chips vizinhos só é possível através de switches) temos que usar interconexões de semicondutores bastante clássicas e núcleos de processador von Neumann – arquiteturas x86 ou ARM?

E a questão é que, em comparação com os processadores von Neumann comparáveis ​​​​em padrões tecnológicos de produção, os neuromórficos, mesmo os de silício, revelam-se muito mais eficientes energeticamente na resolução de uma série de problemas aplicados: gerar picos únicos, mesmo em alta frequência , acaba sendo muito mais econômico do que o fornecimento de tensão constante para VLSIs semicondutores clássicos. Por exemplo, um dos métodos de análise de regressão é quando se estuda a influência de uma ou mais variáveis ​​​​independentes sobre uma variável dependente – LASSO (operador de menor retração absoluta e seleção), requer para sua implementação na primeira geração Loihi três ordens decimais de magnitude menos energia do que quando se usa uma rede neural virtual na memória de uma máquina von Neumann rodando em processadores fabricados de acordo com os mesmos padrões “14 nm”. E muitos problemas cotidianos se resumem a esse tipo de problemas de pesquisa de dependência multiparâmetros – desde a avaliação da demanda do consumidor por um determinado produto com determinadas características (sujeito à formalização matemática bem-sucedida da diferença entre essas características e a média do mercado) até a já mencionada máquina reconhecimento de imagem.

Superfície de uma matriz semicondutora Loihi 2 não embalada (fonte: Intel)

Em setembro de 2021, a Intel apresentou ao público a segunda geração de seu chip neuromórfico – Loihi 2. Com uma taxa de produção duas vezes miniaturizada – “Intel 4”, que corresponde aproximadamente a “7 nm” na terminologia TSMC – saiu quase metade do tamanho ( 31 mm²), porém, o número de neurônios artificiais nele aumentou oito vezes – de cerca de 130 mil para cerca de 1 milhão. Junto com o lançamento do novo produto, um ambiente de desenvolvimento especializado para ele, Lava, baseado em Java e distribuído. como Open Source, também foi postado no Github. Assim, qualquer programador interessado em computação neuromórfica agora tem a oportunidade de criar seu próprio código para Loihi 2, testar e verificar sua prontidão para rodar em emulação na memória de um sistema von Neumann, e então pensar na possibilidade de executá-lo no plataforma de hardware apropriada. O microcódigo, que opera no nível dos núcleos neuromórficos dos chips x86 orquestrando o funcionamento, permite atribuir variáveis ​​e executar uma série de instruções na forma de programas curtos em linguagem assembly: segundo a Intel, isso “fornece acesso à memória no nível dos neurônios individuais, à quantidade acumulada para um determinado momento de entrada sináptica, aos contadores de passos no caso de cálculos limitados no tempo” e, em geral, aumenta significativamente a flexibilidade das redes neurais organizadas nessa base de hardware. Além disso, os chips Loihi 2 permitem não apenas a co-localização plana, mas também tridimensional devido a conexões entre chips especialmente modificadas – e levando em consideração o fato de que a dissipação de calor de um computador neuromórfico é significativamente menor do que a de um von. Processador Neumann das mesmas dimensões,feitas de acordo com padrões de produção semelhantes, as camadas de Loihi 2, pelo menos em teoria, podem ser embaladas de forma bastante compacta.

Uma pilha 3D de placas de computação neuromórficas Kapoho Point, cada uma contendo oito chips Loihi 2 – quatro na parte superior e quatro na parte inferior (fonte: Intel)

Para ser justo, notamos que os computadores neuromórficos de silício, especialmente aqueles com um pequeno número de núcleos neurais, apesar de toda a sua proximidade funcional com o protótipo biológico, apresentam problemas bastante objetivos de precisão. No final de 2018, pesquisadores da Applied Brain Research publicaram um relatório segundo o qual o algoritmo de reconhecimento de fala, executado em vários sistemas de hardware e software com redes neurais, foi de fato executado na primeira geração do Loihi mais rápido do que muitos outros e com significativamente menos energia. consumo, mas em termos de precisão (a totalidade das identificações corretas da frase de teste e das recusas corretas de reconhecê-la em um conjunto deliberadamente distorcido de sons foi calculada) plataformas de von Neumann com redes neurais generativas construídas sobre os princípios do aprendizado profundo deram a ele uma vantagem inicial.

Mike Davis, assim como outros defensores dos computadores neuromórficos, não se constrangem com isso: eles argumentam que quanto mais extensa for a rede de núcleos neurais, mais precisas serão as respostas que ela produzirá – afinal, até mesmo um elefante com seus 4- Um cérebro de 5 kg pode resolver problemas muito mais complexos do que alguns nematóides com algumas centenas de células nervosas. Além disso, os entusiastas dos neuromórficos estão confiantes de que assim que os robôs projetados para interação autônoma direta com objetos do mundo real começarem a ser equipados com tais sistemas, sua idade de ouro começará. “O cérebro evoluiu para controlar os membros”, lembrou Davis; na verdade, a alta capacidade de resposta da rede neural de impulso a sinais externos desordenados (estímulos) corresponde com bastante precisão às características comportamentais do tecido nervoso biológico.

Arquitetura de chip neuromórfico único Loihi 2 (fonte: Intel)

⇡#Problemas e soluções

Há cerca de dois anos, redes neurais multicamadas (profundas) com reforço inverso, redes neurais profundas, graças aos sucessos de ChatGPT, Midjourney, Canva e muitos outros projetos, tornaram-se sinônimos de redes neurais em geral para a grande maioria da humanidade, deixando de lado a SNN, e já poucas pessoas conhecidas no momento, nas profundezas das sombras. E isso não poderia deixar de afetar o desenvolvimento das próprias redes neurais de impulso. Em 2023, o mesmo Mike Davis, em entrevista ao EE Times, já não era tão categórico ao avaliar a inegável superioridade dos neuromórficos sobre a aprendizagem profunda: “Loihi 2 tornou-se melhor que a primeira versão em muitos aspectos muito interessantes. Começou a confundir a linha entre uma abordagem neuromórfica pura e a arquitetura tradicional do acelerador de IA, e isso nos levou a explorar algoritmos novos e interessantes. A melhor abordagem não é necessariamente aquela que mais se aproxima de uma rede neural biológica. É incrível o que a natureza tem sido capaz de alcançar utilizando apenas potenciais de acção unificados, mas ao melhorar a abordagem puramente biológica adicionando a retropropagação, estou confiante de que alcançaremos novas possibilidades verdadeiramente excitantes.”

E estas não são apenas palavras: uma das principais características do Loihi 2 é a sua prontidão para operar com picos de várias amplitudes, o que contradiz fundamentalmente o dogma neurobiológico do “tudo ou nada” que já mencionamos: implica que, independentemente da força do estímulo, a reação na forma de potenciais de ação é sempre do mesmo tipo em termos do tamanho do impulso nervoso, a única diferença que pode diferir é o número de tais impulsos em uma série e a duração do “silêncio” intervalos que os separam. Do ponto de vista matemático, a transição para sinais de multiamplitude significa que os picos trocados entre neurônios artificiais em Loihi 2 não são mais codificados por valores binários, como no tecido nervoso biológico e na primeira geração de Loihi, mas por números inteiros de um certa profundidade de bits. É esta abordagem que permite, ao nível do microcódigo que controla estes neurónios, realizar operações aritméticas sobre os sinais por eles recebidos e controlar programaticamente a execução das instruções – criando no futuro redes neurais híbridas (entre RNA profunda e SNN) com um variedade de modelos de neurônios.

Esquema de percepção e processamento sequencial de som pelos órgãos auditivos e várias partes do cérebro (fonte: Wikimedia Commons)

Mas isso já é bastante interessante: em vez de uma imitação servil da rede nervosa natural – que surgiu no processo de evolução, a rigor, sem um objetivo claramente definido de, em última análise, fornecer à espécie Homo sapiens a oportunidade de criar redes neurais artificiais – os investigadores têm agora a oportunidade de conceber determinados tipos de neurónios, otimizados para a resolução de vários tipos de problemas, e depois combiná-los dentro de uma rede comum de forma a otimizar o seu funcionamento como um todo. Novamente, há aqui um eco claro com a heterogeneidade da estrutura do cérebro biológico, cujas diferentes partes desempenham suas funções. Isso significa que em um substrato de hardware artificialmente aprimorado (Davis usa o termo “aumentado”), será muito mais eficaz implementar modelos de redes neurais que sejam o mais próximos possível da realidade em termos de recursos funcionais, mesmo que não reproduzam isso estruturalmente.

Um exemplo vivo de um desses modelos são os neurônios artificiais que operam segundo o princípio “ressonar e disparar”, ou seja, são ativados em resposta a um estímulo de determinada frequência, próximo à sua própria frequência, como sistema oscilatório. Tais neurônios são modelados usando ressonadores Hopf (baseados na bifurcação matemática Andronov-Hopf), o que permite perceber uma faixa de frequência extremamente ampla de sons disponíveis aos organismos vivos em uma base de hardware relativamente modesta. É precisamente com o uso do Loihi 2 que esses ressonadores são implementados em redes neurais híbridas da maneira mais econômica – ou seja, o orçamento de energia, é claro – de certa forma. A solução proposta tem um significado bastante prático: para sistemas automatizados de reconhecimento de fala, a normalização do fluxo de áudio recebido é extremamente importante – caso contrário, é necessário mais tempo para adaptar o sistema à percepção de sons muito baixos ou muito altos, o que muitas vezes leva à perda de dados. Ressonadores Hopf de diferentes frequências, combinados em uma cóclea artificial (a parte do ouvido interno responsável pela percepção acústica primária), eliminam o problema da normalização da agenda.

O princípio operacional mais geral de uma RNN: à esquerda está um diagrama esquemático da operação de tal rede com um loop de transmissão de dados sobre o estado da iteração anterior; à direita está uma representação de uma rede recorrente na forma de uma cadeia de FNNs executando sequencialmente a mesma tarefa, mas com a transferência de informações sobre o estado da iteração anterior para a próxima (fonte: Wikimedia Commons)

Tendo como pano de fundo os últimos sucessos das redes neurais multicamadas (profundas), especialmente aquelas baseadas na arquitetura de transformadores, sua rede neural recorrente (RNN), que, estritamente falando, inclui SNNs, permaneceu por muito tempo fora da atenção dos pesquisadores. Ao contrário das redes neurais feedforward simples (FNN), onde os dados são processados ​​estritamente em uma passagem, as redes recorrentes implementam o processamento multipassagem com os resultados das iterações anteriores sendo registrados na memória local – o que as torna quase ideais, em particular para tarefas como tradução automática. ou geração de fala. Treinado em certas sequências de dados, um RNN forma um modelo de aprendizado de máquina que pode prever com alta precisão (ou, no caso da fala, com excelente probabilidade) qual deve ser o próximo elemento em uma sequência já iniciada.

Atualmente, essencialmente a mesma funcionalidade é implementada por FNNs com transformadores – em uma arquitetura de codificação-decodificação baseada em “camadas de atenção”. Os desenvolvedores da Intel esperam continuar combinando RNNs, implementados nos chips Loihi de primeira e segunda geração, com as melhores conquistas do FNN – incluindo uma velocidade de treinamento relativamente alta (redes neurais recorrentes acumulam informações, ajustando seus parâmetros durante o treinamento, muito mais lentamente) e uma quantidade relativamente pequena de memória local (eles aprendem a continuar muito bem sequências curtas, sequências médias são piores e lidam com sequências longas extremamente inseguras). Em entrevista de 2023 ao EE Times, Mike Davis falou sobre o desejo de sua equipe de encontrar uma maneira de transformar redes ponto a ponto em recorrentes – mantendo todos os benefícios da primeira que são óbvios hoje, sem comprometer as conquistas inegáveis ​​de esta última.

Se a Intel terá sucesso é uma questão difícil, especialmente considerando a sua actual situação financeira. Além disso, lembremos que, segundo várias estimativas, a ascensão do vulcão subaquático Loihi, que deu nome ao promissor chip SNN, levará de 10 a 100 mil anos – seria bom se a evolução do silício neuromórfico os chips avançaram em um ritmo um pouco mais rápido. E se Loihi 3 aparecer num futuro próximo, há uma chance de que o apetite energético atualmente exorbitante dos modelos de aprendizado de máquina possa ser significativamente moderado. Pelo menos em relação a uma série de tarefas aplicadas muito sérias – robóticas, em particular -, que em termos da mais ampla implementação possível de sistemas verdadeiramente autónomos já se revelarão um resultado bastante válido.

⇡#Materiais relacionados

• Cientistas coreanos criaram um híbrido de RAM e memória flash com consumo ultrabaixo.
• A injeção de prótons transformará o ferroelétrico na base do “cérebro” do silício.
• Computação não convencional: Cientistas britânicos pretendem criar um computador a partir de cogumelos.
• A Kaspersky apresentou a Plataforma Neuromórfica, uma plataforma para desenvolvimento de soluções no chip neuromórfico russo Altai.
• A Intel Labs introduziu o acelerador neuromórfico Kapoho Point – 8 milhões de neurônios eletrônicos em uma placa de 10 cm.