Microsoft inicia testes do Copilot Vision — IA “verá” a tela e os aplicativos do seu computador

A Microsoft começou a testar mais uma atualização do aplicativo Copilot para Windows, que permitirá transmitir a tela do seu computador e a interface dos aplicativos em execução para um assistente com inteligência artificial. O Copilot Vision era originalmente limitado ao navegador Edge, mas agora se estende a qualquer aplicativo no PC.

Fonte da imagem: blogs.windows.com

O Copilot Vision pode ajudar você a entender como o Adobe Photoshop funciona, analisar fotos ou páginas da web que o usuário abre. Em um evento dedicado ao 50º aniversário da Microsoft, a empresa mostrou como o assistente ajuda você a jogar Minecraft e otimizar as configurações no editor de vídeo Clipchamp. Somente Windows Insiders nos EUA podem testar a prévia do Copilot Vision.

O Copilot pode destacar certas áreas da tela para ajudar o usuário a navegar na interface de um programa específico. Na prática, é em parte como o Recall, que automaticamente faz capturas de tela e permite que você pesquise nelas, e em parte como o screencasting via Microsoft Teams. O Copilot para Windows também começou a testar a pesquisa de arquivos por IA, que permite que você faça perguntas ao assistente sobre seus conteúdos; Os formatos suportados são .DOCX, .XLSX, .PPTX, .TXT, .PDF e .JSON. Ambos os recursos estão disponíveis para todos os PCs Copilot para Windows, não apenas para PCs Copilot Plus.

O recurso Copilot Vision também está disponível em aplicativos iOS e Android. No PC, o recurso está sendo testado como parte do programa Windows Insider, mas poderá ficar disponível para todos nas próximas semanas ou meses.