A rede neural artística YandexART com difusão latente foi atualizada para a versão 1.3

«Yandex apresentou a rede neural de difusão atualizada YandexART 1.3, que usa tecnologia de difusão latente para gerar objetos gráficos, permitindo criar imagens mais realistas. Além disso, o modelo foi treinado em um conjunto de dados ampliado, graças ao qual a rede neural agora entende melhor as solicitações dos usuários.

Fonte da imagem: Yandex

A tecnologia de difusão latente usa uma abordagem mais eficiente do que a difusão em cascata, formando uma representação intermediária da imagem na forma de um código latente – uma descrição compacta contendo informações básicas sobre a imagem em um formato compactado, que é então expandido em um formato completo de alta qualidade. imagem de resolução em uma única etapa. Isso requer menos recursos computacionais e a qualidade da imagem final é visivelmente superior.

O conjunto de dados usado para treinar o modelo foi aumentado 2,5 vezes, para mais de 850 milhões de pares de imagens com texto. Ao mesmo tempo, textos sintéticos foram adicionados ao conjunto de dados – descrições detalhadas de imagens geradas pela rede neural. E para que o YandexART leve em consideração mais detalhes dos dados industriais, ele agora usa dois codificadores de texto em vez de um. Eles garantem que a rede neural reconheça as consultas de texto e as traduza para linguagem de máquina.

Além disso, graças à atualização, os usuários têm a possibilidade de criar imagens em diversos formatos, como 16:9, 4:3 ou 3:4.

YandexART 1.3 já é usado no aplicativo Masterpiece. No futuro, uma nova versão do YandexART aparecerá em outros serviços Yandex.