A AMD e a Stability AI anunciaram o lançamento de uma versão otimizada do modelo Stable Diffusion 3.0 Medium AI, adaptado para funcionar em dispositivos com unidades de processamento neural (NPU). Isso permitirá que os proprietários desses dispositivos gerem imagens e processem texto localmente – diretamente em laptops com processadores AMD Ryzen AI XDNA 2, sem a necessidade de uma placa de vídeo potente.
Fonte da imagem: AMD
Anteriormente, na Computex 2024, a AMD, em conjunto com a Stability AI, apresentou a primeira versão em bloco do modelo SDXL Turbo do mundo no formato FP16, que alcançou precisão FP16 com desempenho INT8. A nova versão do SD 3.0 Medium também é implementada neste formato e é otimizada para a arquitetura NPU, proporcionando geração de imagens de alta qualidade com requisitos de hardware relativamente baixos, relata a TechPowerUp.
O modelo FP16 utiliza 9 GB de memória e pode ser executado em laptops com 24 GB de RAM. O sistema utiliza um processo de processamento de dois estágios baseado na NPU AMD XDNA 2, aumentando a resolução da imagem de saída de 2 MP (1024 × 1024 pixels) para 4 MP (2048 × 2048 pixels).
Anteriormente, o Amuse, uma ferramenta de software de geração de imagens de IA, usava apenas a GPU para executar o Stable Diffusion Medium, o que limitava sua disponibilidade. Agora, os usuários podem escolher entre GPU e NPU, dependendo da tarefa e dos recursos do dispositivo. Para testar o novo recurso, você precisa instalar o driver AMD Adrenalin mais recente, bem como o Amuse 3.1 beta do Tensorstack (Amuse AI). Em seguida, no Modo EZ, mova o controle deslizante para HQ e ative a opção XDNA 2 Stable Diffusion Offload.