Alibaba lança modelo Qwen2.5-Omni-3B com IA — pode ser executado em PC ou laptop

Esta semana, a Alibaba da China anunciou sua família Qwen3 de modelos de IA emblemáticos, que usam um método chamado “mistura de especialistas” para alcançar resultados comparáveis ​​aos dos modelos de raciocínio híbrido. Poucos dias depois, a gigante do comércio eletrônico e da computação em nuvem revelou um modelo leve Qwen2.5-Omni-3B baseado na arquitetura da geração anterior, projetado para operação autônoma em PCs e laptops de consumo.

Fonte da imagem: BoliviaInteligente/Unsplash

Qwen2.5-Omni-3B é uma versão reduzida de 3 bilhões de parâmetros do algoritmo principal de 7 bilhões de parâmetros. Apesar do tamanho reduzido, esta versão do modelo de IA manteve mais de 90% do desempenho multimodal e pode fornecer geração online de texto e fala natural.

Os desenvolvedores conseguiram um aumento significativo na eficiência do uso da memória do acelerador gráfico. Note-se que o Qwen2.5-Omni-3B tem uma redução de 50% no consumo de memória de vídeo ao processar contextos longos de até 25 mil lexemas. Após otimizar as configurações, o consumo de memória caiu de 60,2 GB para o modelo de 7 bilhões de parâmetros para 28,2 GB para o modelo de 3 bilhões de parâmetros. Devido a isso, o algoritmo Qwen2.5-Omni-3B pode ser implantado em um dispositivo que usa um acelerador gráfico com 24 GB de memória de vídeo. Essas placas de vídeo geralmente podem ser encontradas em PCs e laptops premium.

O Qwen2.5-Omni-3B já está disponível para download no Hugging Face, GitHub e ModelScope. No entanto, as condições de licenciamento permitem que o algoritmo seja usado apenas para fins de pesquisa. Isso significa que, sem obter uma licença do Alibaba para usar a família de modelos Qwen, nenhum produto comercial baseado no Qwen2.5-Omni-3B pode ser criado. Os resultados dos testes do algoritmo em benchmarks indicam que, apesar da redução no tamanho do modelo de IA, ele continua bastante competitivo.

Fonte da imagem: venturebeat.com

O Qwen2.5-Omni-3B é capaz de processar diferentes tipos de dados recebidos simultaneamente, gerando respostas de texto ou voz em tempo real. Há uma escolha entre vozes femininas e masculinas, que são usadas para dar respostas às consultas dos usuários. Desabilitar a geração de som quando ela não é necessária reduzirá ainda mais o consumo de memória. A equipe de desenvolvimento enfatiza a natureza aberta do projeto, fornecendo acesso a conjuntos de ferramentas de acompanhamento, versões pré-treinadas do algoritmo, bem como a capacidade de usar a API correspondente e orientação sobre a implantação do modelo de IA.

Embora o Qwen2.5-Omni-3B reduza as barreiras técnicas e de hardware para experimentar modelos de IA multimodais, a exigência de obter uma licença do Alibaba para uso comercial do algoritmo ainda deixa algumas limitações. No entanto, os desenvolvedores corporativos poderão usar o algoritmo para testar suas próprias ideias, avaliar arquiteturas ou decidir se devem licenciá-lo para uso comercial. Nesse contexto, o Qwen2.5-Omni-3B deixa de ser uma opção de implantação e passa a ser uma ferramenta de avaliação estratégica ou uma forma de chegar mais perto do uso de um modelo de IA multimodal com menos recursos.