NVIDIA introduziu o Chat com RTX para executar chatbots de IA localmente em PCs

“A NVIDIA lançou uma prévia do Chat com RTX, que permite executar um chatbot de IA generativo alimentado por um modelo de linguagem grande (LLM) localmente em seu PC. O chatbot pode criar resumos e fornecer respostas relevantes com base em vídeos e documentos do usuário. Bate-papo com RTX é executado em PCs Windows com placas gráficas NVIDIA GeForce RTX série 30 ou série 40 equipadas com pelo menos 8 GB de memória de vídeo.”

Fonte da imagem: NVIDIA

O Chat com RTX pode processar vídeos do YouTube – basta inserir a URL para receber um resumo do conteúdo em formato de texto do chatbot. O Chat com RTX permite pesquisar transcrições de vídeo. Segundo especialistas, a busca por vídeos leva apenas alguns segundos. Ao mesmo tempo, houve casos em que o chatbot, por algum motivo desconhecido, utilizou o conteúdo de outro vídeo em vez do solicitado para pesquisa. Isso indica claramente erros na demonstração inicial.

Os pesquisadores consideram o Chat with RTX útil ao processar arquivos PDF. Diz-se que o chatbot da NVIDIA teve um desempenho melhor do que o Copilot da Microsoft nesta tarefa, recuperando informações importantes sem problemas. Os especialistas também observaram que o Chat com RTX dá uma resposta quase instantaneamente, sem atrasos que normalmente são observados ao usar chatbots em nuvem ChatGPT ou Copilot. Usando um chatbot, os testadores conseguiram criar um conjunto de dados relevante para o processo FTC v. Microsoft e resumir toda a estratégia da Microsoft em relação ao Xbox Game Pass.

Ao instalar o Chat com RTX, um servidor web e uma instância do Python são instalados no PC do usuário, que usa LLM Mistral ou Llama 2. Núcleos tensores na GPU NVIDIA RTX são usados ​​para acelerar o processamento de consultas. A instalação do Chat com RTX em um PC com processador Intel Core i9-14900K e placa gráfica NVIDIA GeForce RTX 4090 leva cerca de 30 minutos. O aplicativo ocupa cerca de 40 GB de espaço em disco e o interpretador Python consome cerca de 3 GB de RAM durante a execução. Uma vez iniciado, o usuário acessa o chatbot por meio de uma interface web, e a linha de comando exibe o progresso e os códigos de erro.

Os especialistas observam que o Chat with RTX até agora se assemelha mais a uma demonstração inicial para desenvolvedores e entusiastas de computador. Existem vários problemas e limitações conhecidos. Uma tentativa de indexar uma pasta com 25.000 documentos usando o Chat com RTX resultou na falha do aplicativo, exigindo uma redefinição de todas as configurações para restaurar a funcionalidade. Além disso, o chatbot criava arquivos JSON dentro de todas as pastas que indexava, o que nem sempre é apropriado. O chat com RTX também não lembra do contexto, portanto uma nova solicitação não pode contar com o conteúdo da anterior.

No entanto, o Chat with RTX é uma boa demonstração técnica dos recursos e da promessa de um chatbot de IA instalado localmente no computador do usuário. Há muitas pessoas que não querem usar serviços de IA em nuvem por assinatura, como Copilot Pro ou ChatGPT Plus, para analisar seus dados pessoais.