O Google está um passo mais perto da IA ​​que pensa como um ser humano – revelada a arquitetura dos Titãs

Há mais de sete anos, o Google fez um avanço ao desenvolver a arquitetura de rede neural Transformer, que agora alimenta aplicativos generativos de inteligência artificial, incluindo OpenAI ChatGPT. Agora a empresa revelou sua nova arquitetura Titans, um novo passo em direção à IA que pode pensar como um ser humano.

Fonte da imagem: BoliviaInteligente / unsplash.com

A arquitetura do Transformer carece de memória de longo prazo, o que limita a sua capacidade de reter e utilizar informações durante longos períodos de tempo, embora esta seja uma característica integrante do pensamento humano. Titãs inclui memória neural de longo prazo, memória de curto prazo e sistemas de aprendizagem “surpresa” – todos usados ​​por uma pessoa para lembrar eventos inesperados ou muito importantes.

O Transformer possui uma espécie de “holofote”, um mecanismo que permite à IA destacar as palavras mais importantes de uma frase e dados a qualquer momento. Também está em Titãs, mas funciona em conjunto com uma enorme biblioteca – um módulo de memória de longo prazo, responsável por armazenar informações importantes. Esse mecanismo é semelhante ao de um aluno que pode retornar às anotações feitas no início do semestre, em vez de tentar lembrar de tudo de uma vez.

O foco em detalhes relevantes e a capacidade de acessar o conhecimento armazenado permitem que os Titãs processem grandes quantidades de informações sem perder detalhes importantes. Com uma “métrica surpresa” inteligente para ajudar a priorizar os principais dados, o Titans supera os modelos de IA existentes em uma variedade de tarefas: modelagem de linguagem, previsão e modelagem de DNA. A nova arquitetura aproxima assim a IA dos mecanismos da cognição humana.

A capacidade da nova IA de reter um contexto rico irá ajudá-la a revolucionar a investigação, por exemplo, monitorizando a literatura científica; ou detectar anomalias em enormes conjuntos de dados, na medicina ou nas finanças, porque o sistema “lembra” o que é normal e destaca o que é uma “surpresa”.

A nova arquitetura replica parcialmente os processos cognitivos humanos – além da memória de curto e longo prazo, é a capacidade de “esquecer” informações menos importantes e priorizar com mais precisão. Da mesma forma, uma pessoa se lembra mais facilmente de eventos que violam suas expectativas – esse recurso ajudará a criar sistemas de IA mais sutis e dependentes do contexto. Sistemas modernos baseados na arquitetura Transformer são capazes de processar consultas com contexto de até 2 milhões de tokens, enquanto os Titans permanecem eficientes acima desse limite, mantendo alta precisão com enormes quantidades de dados de entrada.

O mecanismo de “métrica surpresa” permite ao sistema determinar quais informações devem ser armazenadas na memória de longo prazo – a prioridade é dada aos itens que violam as expectativas. Isto não apenas reflete os mecanismos cognitivos humanos, mas também fornece uma nova solução para gerenciar recursos limitados de memória no campo da IA. Os primeiros testes de sistemas na arquitetura Titans mostraram resultados promissores em uma série de tarefas, por exemplo, em tarefas associadas à extração de informações específicas de textos grandes: à medida que o comprimento do contexto aumenta, os modelos existentes mostram uma queda acentuada na precisão, enquanto a nova arquitetura mantém o desempenho.

Deve-se notar, no entanto, que a tecnologia Titans ainda está em seus estágios iniciais e é provável que surjam desafios na sua implantação em aplicações práticas. É muito cedo para julgar os requisitos do sistema para algoritmos de computação, a eficácia do treinamento e possíveis ameaças – tudo isso ficará mais claro à medida que a tecnologia se desenvolver. E a capacidade da IA ​​de armazenar e avaliar informações pode levantar questões sobre privacidade, mecanismos de processamento de dados e comportamento imprevisível dos sistemas de IA.