O Alibaba apresentou o modelo de IA Qwen-Image 20B MMDiT, projetado para trabalhar com imagens. Nele, o desenvolvedor melhorou significativamente os mecanismos para desenhar textos complexos e implementou a capacidade de editar imagens com precisão.
Fonte da imagem: huggingface.co/Qwen
O modelo, que estará disponível na plataforma Qwen Chat na seção Geração de Imagens, possui recursos avançados de renderização de texto, incluindo layouts multilinha com semântica em nível de parágrafo e elementos detalhados. Idiomas baseados em letras e hieróglifos são suportados. Mecanismos aprimorados de aprendizado multitarefa ajudaram a expandir os recursos de edição de imagens, preservando o conteúdo semântico e o realismo visual.
O novo Qwen-Image, afirma o Alibaba, superou as soluções existentes em diversos testes para tarefas de geração e edição de imagens, incluindo GenEval, DPG, OneIG-Bench, GEdit, ImgEdit e GSO. O sucesso foi particularmente significativo em testes de qualidade de renderização de texto, como LongText-Bench, ChineseWord e TextCraft — o novo modelo superou os análogos modernos. O Qwen-Image, em particular, lida com a exibição precisa de caracteres chineses em placas de lojas com a profundidade de campo correta, com a criação de texto detalhado em inglês em capas de livros e slides informativos, e suporta o trabalho com conteúdo bilíngue.
Além do processamento de texto, o modelo é fluente em gêneros artísticos, do fotorrealismo ao impressionismo; diversas operações de edição de imagem são suportadas, incluindo alteração de estilo, adição, remoção e aprimoramento de detalhes, bem como edição de texto e alteração de poses de personagens. No projeto Qwen-Image, os desenvolvedores do Alibaba, em suas palavras, buscaram promover o desenvolvimento da geração de imagens, reduzir as barreiras técnicas à criação de materiais visuais e inspirar colegas a desenvolver aplicações inovadoras.