Muitos desenvolvedores de IA generativa estão deixando de usar recursos de nuvem para trabalhar com redes neurais em seus dispositivos. Para eles, a Qualcomm apresentou no MWC 2024 a mais recente ferramenta AI Hub, que facilita o acesso dos desenvolvedores aos modelos de IA. O Qualcomm AI Hub contém uma biblioteca cada vez maior de modelos generativos de IA que podem ser facilmente baixados para dispositivos com tecnologia Qualcomm. Atualmente, o AI Hub já conta com mais de 75 modelos.
Fonte da imagem: Qualcomm
«Com o lançamento do Snapdragon 8 Gen 3 para smartphones e do Snapdragon X Elite para PCs, fomos pioneiros na comercialização massiva de inteligência artificial em dispositivos. Agora, o Qualcomm AI Hub permitirá que os desenvolvedores aproveitem totalmente o potencial dessas tecnologias avançadas e criem aplicativos interessantes habilitados para IA”, disse Durga Malladi, vice-presidente sênior de planejamento de tecnologia e tecnologias de ponta da Qualcomm.
A biblioteca Qualcomm AI Hub contém alguns dos modelos mais populares do setor, como Whisper, um mecanismo de reconhecimento automático de fala (ASR) da OpenAI, e Stable DIffusion, um modelo de conversão de texto em imagem da Stability AI. A Qualcomm afirma que os modelos de IA no AI Hub são otimizados por hardware para oferecer “desempenho superior de IA no dispositivo”.
Aproveitar ao máximo todos os núcleos do Qualcomm AI Engine, incluindo NPU, CPU e GPU, resulta em maior eficiência de energia, menor uso de memória e velocidade de inferência até 4x mais rápida. Outra vantagem de executar modelos de IA em um dispositivo local é o aumento da segurança dos dados em comparação com a nuvem, o que é especialmente importante ao criar modelos que utilizam informações confidenciais ou proprietárias.
De acordo com Malladi, “o Qualcomm AI Hub fornece aos desenvolvedores uma rica biblioteca de modelos de IA para integrar de forma rápida e fácil modelos de IA pré-otimizados em seus aplicativos, resultando em experiências de usuário mais rápidas, confiáveis e privadas”. Modelos de IA otimizados estão disponíveis hoje no Qualcomm AI Hub, GitHub e Hugging Face. Os desenvolvedores podem se inscrever a partir de hoje.