Llama 2 está em boas mãos: Dell e Meta ofereceram um sistema de software e hardware pronto para implantação local de IA

Dell e Meta✴ propuseram um desenvolvimento conjunto para melhorar a eficiência das empresas na área de IA generativa, com base no uso do grande modelo de linguagem Meta✴ Llama 2 e da infraestrutura Dell.

O lançamento de aplicações generativas de IA, como chatbots, assistentes virtuais, inclusive para escrita de código, envolve modelos de treinamento em dados das próprias empresas. No entanto, as soluções de nuvem pública, embora convenientes, muitas vezes apresentam limitações, incluindo riscos de segurança associados à soberania dos dados, bem como custos imprevisíveis e problemas de conformidade regulamentar.

Fonte da imagem: Dell

A implantação de modelos abertos de grandes linguagens (LLMs) como o Llama 2 no local oferece aos clientes custos previsíveis e controle total sobre seus dados, reduzindo o risco de segurança e o vazamento de propriedade intelectual e garantindo a conformidade regulatória, diz Dell. As soluções Dell Generative AI, juntamente com o Dell Validated Design for Generative AI, oferecem aos clientes software e hardware pré-testados e prontos para uso, desenvolvidos especificamente para IA generativa.

Fonte da imagem: Dell

Agora, a Dell, em colaboração com a Meta✴, expandiu seu portfólio de ofertas de IA generativa – os clientes agora podem implantar e ajustar facilmente os modelos de IA Meta✴ Llama 2 da Meta✴ em um ambiente local. A solução Dell Validated Design for Generative AI, juntamente com o Llama 2, fornece às empresas infraestrutura, software e serviços Dell prontos para uso para otimizar a implantação e o gerenciamento de projetos de IA locais. Llama 2 é testado e verificado pela Dell, incluindo trabalho com (SFT), LoRA e p-tuning em modelos com 7, 13 e 70 bilhões de parâmetros

Com orientação de implantação e configuração, as empresas podem colocar rapidamente sua infraestrutura de IA em funcionamento e usar o Llama 2 com maior previsibilidade. Em particular, estão disponíveis análises de uso de memória, latência e eficiência de LLM. “Nosso objetivo é nos tornarmos o fornecedor de infraestrutura local preferido dos clientes que implantam o Llama 2 e fornecer aos nossos clientes as melhores soluções de IA generativa da categoria”, afirmou a empresa. A base de hardware inclui os servidores PowerEdge XE9680, bem como o PowerEdge R760xa (com NVIDIA L40S).