Topaz Labs introduziu o modelo Difuso AI, que melhora automaticamente vídeos antigos

Topaz Labs, especializado no desenvolvimento de software para editar fotos e vídeos, introduziu o modelo do Projeto AI Starlight para melhorar a qualidade dos quadros antigos da coleção de vídeos caseiros ou conteúdo de arquivo, cuja qualidade poderia ter piorado ao longo do tempo durante o armazenamento de mídia tradicional.

Fonte da imagem: Topaz Labs

De acordo com o desenvolvedor, este é o primeiro modelo de difusão na história, criado para esses fins, e não requer entrada de dados manual para corrigir o vídeo. É relatado que o projeto Starlight foi criado a partir do zero usando a nova arquitetura do modelo com mais de 6 bilhões de parâmetros, e seu trabalho é suportado pelos aceleradores avançados da NVIDIA. Para comparação, publicado em maio de 2024, o modelo de idioma GPT-4O do OpenAI com a possibilidade de processar texto, áudio, imagens e vídeo como dados de entrada inicialmente tinham 8 bilhões de parâmetros.

O Topaz Labs afirma que o modelo “restaura com precisão os detalhes” e fornece “restauração inigualável de peças em combinação com consistência temporária inigualável”. Segundo a empresa, essa é precisamente a essência de seu novo modelo: melhorando vários quadros para obter resultados de restauração de alta qualidade sem artefatos de movimento ou inconsistências entre pessoal e objetos.

O Project Starlight também remove automaticamente o ruído, elimina o Blur, a escala e suaviza os quadros mediante solicitação. Trabalhar com esse modelo de IA não requer conhecimento especial no campo do processamento de vídeo.

O retorno do vídeo antigo à vida inclui vários processos, incluindo escala, correção de cores e classificação, interpolação de pessoal, eliminação de danos e recuperação do som. Para cada uma dessas opções de recuperação, as ferramentas baseadas na IA já foram criadas, mas para obter os melhores resultados, as pessoas devem ser controladas atualmente pelas pessoas.

O Topaz Labs disse que os usuários podem, usando seu modelo II, restaurar um vídeo até 10 s gratuitamente, enquanto os clipes de até 5 minutos terão a resolução máxima de 1080p e isso exigirá empréstimos. A versão para usuários corporativos suporta a restauração de vídeos mais longos e com uma resolução mais alta. Ainda não se sabe se o projeto Starlight funcionará localmente ou será integrado a outras aplicações da empresa.