A Startup Anthropic conseguiu expandir a janela de entrada contextual de seu chatbot Claude para 75.000 palavras, uma grande melhoria em relação aos modelos atuais. A empresa diz que o chatbot pode processar um romance de ficção inteiro em menos de um minuto.
Fonte da imagem: Anthropic See More
Uma limitação frequentemente negligenciada para chatbots é a memória. Embora os modelos de linguagem AI que sustentam esses sistemas aprendam com terabytes de texto, a quantidade que esses sistemas podem processar durante o uso é bastante limitada. Para o ChatGPT, são cerca de 3.000 palavras. E embora existam maneiras de contornar essas restrições, isso ainda não é suficiente. A Anthropic, fundada por ex-engenheiros da OpenAI, expandiu significativamente a janela de contexto de seu chatbot Claude, elevando-o para 75.000 palavras. Como ela aponta em seu blog, isso é o suficiente para processar O Grande Gatsby de uma só vez. Na verdade, a empresa testou o sistema editando uma frase da novela e pedindo à IA que notasse a mudança. Aconteceu em 22 segundos.
Os modelos de linguagem AI medem as informações não pelo número de caracteres ou palavras, mas por tokens – uma unidade semântica que nem sempre se correlaciona com o número de caracteres e, como as palavras podem ser longas ou curtas, seu comprimento não corresponde necessariamente ao número de fichas. A esse respeito, a janela de contexto Claude é superior ao modelo OpenAI, pois pode lidar com 100.000 tokens em comparação com 9.000 anteriormente, enquanto o modelo GPT-4c totalmente funcional pode lidar com até 32.000 tokens.
Atualmente, os novos recursos do Claude estão disponíveis apenas para parceiros de negócios da Anthropic que se conectam ao chatbot por meio da API da empresa. O preço também é desconhecido, mas deve ter subido significativamente, pois processar mais texto significa mais sobrecarga computacional.