Qualcomm faz parceria com a Meta para oferecer suporte ao modelo de idioma Llama 2 em smartphones e PCs sem acesso à nuvem

Ontem, a Meta* fez parceria com a Microsoft para revelar a próxima geração do Large Language Model (LLM), Llama 2, para ser usado em aplicativos e serviços generativos de IA. Agora, como relata a Qualcomm, trabalhará com Meta * no mecanismo de integração do Llama 2 em eletrônicos, em particular, dispositivos móveis baseados em chipsets Qualcomm Snapdragon.

Fonte da imagem: Placidplace/pixabay.com

Como a Qualcomm afirmou em comunicado à imprensa, o objetivo da colaboração era habilitar aplicativos e serviços baseados no Llama 2 nesses dispositivos sem a necessidade de conectá-los à nuvem – isso é necessário, por exemplo, ao usar outros produtos de IA, como ChatGPT e Bing Chat.

A capacidade de executar modelos de linguagem grande como o Llama 2 em um dispositivo como um smartphone, PC ou headset AR/VR tem uma série de vantagens, disse a Qualcomm.

Por exemplo, permite que os desenvolvedores economizem em serviços de nuvem, além de fornecer aos usuários uma experiência privada, mais segura e personalizada do que a que pode ser fornecida usando um serviço de nuvem.

A Qualcomm pretende oferecer suporte a serviços de IA baseados no Llama 2 em dispositivos que usam chipsets Qualcomm Snapdragon já em 2024. É verdade que ainda não se sabe se esse suporte será fornecido apenas em novos chipsets ou se a Qualcomm poderá de alguma forma organizar a compatibilidade com os já em uso.

A Meta* afirma que o Llama 2 treinou com 40% mais dados do que o Llama de primeira geração. O desenvolvedor já anunciou opções de cooperação com a Microsoft – o modelo será fornecido gratuitamente a pesquisadores e clientes comerciais da nuvem Azure. Além disso, é possível baixar e executar o LLM localmente, em um PC com Windows.

* Está incluído na lista de associações públicas e organizações religiosas em relação às quais o tribunal tomou uma decisão final para liquidar ou proibir atividades com base na Lei Federal nº 114-FZ de 25 de julho de 2002 “Sobre o combate ao extremismo atividade”.