Qualcomm introduziu microservidores de IA com eficiência energética, solução de dispositivo AI On-Prem

A Qualcomm Technologies anunciou a Qualcomm AI On-Prem Appliance Solution, uma solução de hardware compacta e com baixo consumo de energia para processamento local de cargas de trabalho de inferência e visão computacional. A empresa também apresentou um conjunto pronto para uso de aplicativos, bibliotecas, modelos e agentes de IA, o Qualcomm Cloud AI Inference Suite, capaz de trabalhar na borda nas nuvens.

De acordo com o comunicado de imprensa, a combinação de novos produtos permite que pequenas e médias empresas e organizações industriais executem aplicações de IA personalizadas e pré-construídas nas suas instalações, incluindo cargas de trabalho de IA generativas. A Qualcomm observou que a inferência interna reduzirá significativamente os custos operacionais e o custo total total de propriedade (TCO) em comparação com o aluguel de infraestrutura de IA de terceiros.

Fonte da imagem: Qualcomm

Com a solução AI On-Prem Appliance juntamente com o AI Inference Suite, os clientes poderão usar IA generativa proprietária baseada em dados, modelos ajustados e infraestrutura de tecnologia para automatizar processos e aplicativos em praticamente qualquer ambiente, como lojas de varejo, restaurantes, pontos de venda, concessionárias, hospitais, fábricas e oficinas onde os processos de trabalho estão bem estabelecidos, repetíveis e prontos para automação.

«A solução AI On-Prem Appliance e o Cloud AI Inference Suite alteram o TCO da IA, permitindo que cargas de trabalho generativas de IA sejam processadas localmente, em vez de na nuvem”, disse a empresa, destacando que a solução AI On-Prem Appliance pode reduzir significativamente os custos operacionais de aplicativos de IA para necessidades empresariais e industriais em uma ampla variedade de áreas. Além disso, a implantação local oferece proteção contra vazamentos de dados confidenciais.

A plataforma Qualcomm AI On-Prem Appliance Solution é alimentada pela família de aceleradores Qualcomm Cloud AI. É relatado que o novo produto oferece suporte a uma ampla gama de recursos, incluindo:

• Escalável desde um único dispositivo de desktop até um cluster montado na parede;
• Servindo uma variedade de serviços de IA no local, incluindo agentes de voz prontos para uso, modelos de linguagem pequena (SLMs), modelos de linguagem grande (LLMs), modelos multimodais (LMMs), RAGs, IA de agente, IA plataformas de automação e muito mais;
• Suporta uma ampla gama de modelos de IA generativa, processamento de linguagem natural e visão computacional;
• Transmita o processamento de IA de imagens e vídeos de câmeras para aplicações de visão computacional focadas em segurança, proteção e monitoramento.

Por sua vez, o Qualcomm Cloud AI Inference Suite oferece um conjunto completo de ferramentas e bibliotecas para desenvolver ou migrar aplicativos generativos de IA para a solução AI On-Prem Appliance ou outras plataformas baseadas em aceleradores Qualcomm Cloud AI. O conjunto oferece diversas APIs para gerenciamento e administração de usuários, para chats, para geração de imagens, áudio e vídeo. Reivindica compatibilidade com API OpenAI e suporte RAG. Além disso, está disponível integração com modelos e estruturas populares de IA generativa. A implantação usando Kubernetes e bare metal é possível.