Pesquisadores do Instituto de Tecnologia de Massachusetts (MIT) resolveram de forma elegante um dos principais problemas da IA: as limitações da janela de contexto. O LLM normalmente opera com centenas ou milhares de tokens, o que o impede de processar completamente arquivos de múltiplos volumes. O novo modelo recursivo supera essa desvantagem usando um sistema de navegação baseado em contexto em vez de memória.
Fonte da imagem: The Neuron
A nova abordagem é implementada na arquitetura do Modelo de Linguagem Recursivo (RLM). Os modelos de linguagem tradicionais de grande porte retêm todas as informações relevantes dentro de uma chamada janela de contexto, com um número bastante rígido e limitado de tokens, e perdem rapidamente a precisão de suas inferências quando o volume de dados de entrada excede esse limite. O modelo RLM oferece uma abordagem diferente: em vez de tentar memorizar os dados de origem em sua totalidade, ele os visualiza como um espaço externo que pode ser navegado e do qual fragmentos relevantes podem ser recuperados conforme necessário. A navegação substitui a memória.
A principal diferença entre o RLM e o LLM é que o mecanismo de recuperação de informações se torna dinâmico e recursivo (com aninhamento, como na estrutura em árvore das pastas do sistema de arquivos). O modelo analisa a consulta, gera uma ação de busca, recupera os segmentos de dados necessários e repete o processo até que uma profundidade de compreensão especificada seja alcançada. Como resultado, a arquitetura é capaz de trabalhar com arrays de dados dezenas ou centenas de vezes maiores do que a capacidade da janela de contexto tradicional, sem um aumento excessivo nos recursos computacionais.
A tecnologia proposta abre novas possibilidades para áreas que exigem o processamento de grandes documentos ou dados estruturados complexos. Por exemplo, na prática jurídica, a IA poderá analisar processos judiciais completos, e não apenas fragmentos individuais; na programação, poderá processar grandes volumes de código; e na análise de dados, poderá combinar e comparar inúmeras publicações científicas sem pré-processamento. A capacidade do modelo de funcionarTrabalhar com conjuntos de dados em larga escala reduz o risco de distorções factuais e erros associados à “perda” de contexto devido à sua exclusão da memória do modelo em algum momento.
Especialistas do MIT forneceram uma biblioteca completa que implementa os princípios do Modelo de Linguagem Recursivo (RLM) e um código de referência mínimo, o que simplificará a familiarização com a tecnologia para todas as partes interessadas e acelerará sua adoção. Algumas empresas já começaram a adaptar a arquitetura para seus produtos, confirmando ainda mais a aplicabilidade do RLM além do laboratório. Assim, os Modelos de Linguagem Recursivos podem se tornar um passo significativo na evolução das arquiteturas de redes neurais, pois oferecem não um aumento na memória do modelo, mas uma maneira fundamentalmente nova de trabalhar com grandes conjuntos de dados.