Foi introduzido o modelo YandexART 2.0 AI com suporte para geração de texto em imagens

«Yandex lançou YandexART 2.0, um gerador de imagens de nova geração. A rede neural aprendeu a criar inscrições em uma imagem e manter vários estilos em uma imagem ao mesmo tempo; os objetos no espaço e uns em relação aos outros estão agora localizados de forma mais natural; e ao criar imagens, mais detalhes da consulta são levados em consideração.

Fonte da imagem: Yandex

Uma característica distintiva do YandexART 2.0 é sua arquitetura de rede neural híbrida, combinando recursos de modelos convolucionais e de transformadores. O modelo convolucional funciona como o olho humano, identificando as principais características de um objeto, como sua forma, textura e bordas, mas é limitado na extensão do contexto, por isso é auxiliado por um transformador para consultas longas. Essa arquitetura ajuda o YandexART 2.0 a lidar com vários gêneros em uma única imagem – por exemplo, ele pode representar um rótulo de anime em uma garrafa de limonada fotorrealista.

Para treinar a rede neural YandexART 2.0, foram usadas várias centenas de milhões de pares de imagens e descrições de texto; uma relação mais precisa foi fornecida por um modelo VLM adicional, com a ajuda do qual as imagens foram analisadas e acompanhadas de descrições detalhadas de texto. A gama de dados de treinamento foi expandida para incluir várias centenas de milhares de imagens com texto – isso ajudou o YandexART 2.0 a complementar as imagens com inscrições em letras latinas.

«Yandex também desenvolveu seu próprio sistema de avaliação da qualidade do trabalho do gerador de imagens: o novo modelo superou Midjourney v6.1 em termos de complexidade e estética em 66% e 58% dos casos, respectivamente, e também se aproximou dele em termos de relevância para consultas.

Os usuários empresariais podem trabalhar com YandexART 2.0 na plataforma Yandex Cloud – usando a API, você pode integrar o gerador de imagens em qualquer aplicativo; É possível testar seu funcionamento em modo de demonstração para selecionar as consultas ideais. Clientes corporativos podem gerar logotipos, ilustrações para artigos, apresentações ou redes sociais.

A rede neural visual também está disponível para usuários particulares na versão web do Alice e em seu próprio aplicativo de assistente virtual; proprietários de contas gratuitas podem solicitar até cinco imagens por dia, e os assinantes da opção Alice Pro não têm essa limitação. Com YandexART 2.0 você pode criar um avatar para redes sociais, um ícone de aplicativo, uma estampa para uma camiseta, um cartão postal para um amigo ou uma ilustração para publicação.