Após a apresentação do modelo compacto de IA Phi-3-vision, a Microsoft apresentou na conferência anual Microsoft Build 2024 outro modelo de linguagem pequena (SLM) Phi-3-Silica, que será usado em computadores da classe Copilot Plus PC. Esses PCs são equipados com chips que possuem uma unidade de processamento neural (NPU) integrada que permite recursos locais baseados em IA.
Fonte da imagem: Pixabay
Este é o menor de todos os modelos da família Phi-3, com 3,3 bilhões de parâmetros. A família Phi-3 também inclui o modelo Phi-3-mini com 3,8 bilhões de parâmetros, Phi-3-vision (4,2 bilhões de parâmetros), Phi-3-small (7 bilhões de parâmetros) e Phi-3-medium (14 bilhões de parâmetros). ).
Espera-se que os primeiros laptops da marca Copilot Plus PC com Phi-3-Silica integrado estejam à venda em junho deste ano. Segundo a Microsoft, o Time to first token (TTFT) do Phi-3-Silica é de 650 tokens por segundo, e durante a operação o modelo consome cerca de 1,5 W, liberando a potência do processador e acelerador gráfico do PC para processar outros cálculos. Ao gerar tokens, o modelo reutiliza o cache KV NPU, a própria geração é realizada na CPU a uma velocidade de aproximadamente 27 tokens por segundo.
«Os modelos Phi-3 superam significativamente os modelos de linguagem de tamanhos iguais e maiores nas principais métricas. “Phi-3-mini tem desempenho melhor do que modelos com o dobro de seu tamanho, e Phi-3-small e Phi-3-medium superam modelos muito maiores, incluindo o GPT-3.5T”, disse a Microsoft.