Após a apresentação do modelo compacto de IA Phi-3-vision, a Microsoft apresentou na conferência anual Microsoft Build 2024 outro modelo de linguagem pequena (SLM) Phi-3-Silica, que será usado em computadores da classe Copilot Plus PC. Esses PCs são equipados com chips que possuem uma unidade de processamento neural (NPU) integrada que permite recursos locais baseados em IA.
Este é o menor de todos os modelos da família Phi-3, com 3,3 bilhões de parâmetros. A família Phi-3 também inclui o modelo Phi-3-mini com 3,8 bilhões de parâmetros, Phi-3-vision (4,2 bilhões de parâmetros), Phi-3-small (7 bilhões de parâmetros) e Phi-3-medium (14 bilhões de parâmetros). ).
Espera-se que os primeiros laptops da marca Copilot Plus PC com Phi-3-Silica integrado estejam à venda em junho deste ano. Segundo a Microsoft, o Time to first token (TTFT) do Phi-3-Silica é de 650 tokens por segundo, e durante a operação o modelo consome cerca de 1,5 W, liberando a potência do processador e acelerador gráfico do PC para processar outros cálculos. Ao gerar tokens, o modelo reutiliza o cache KV NPU, a própria geração é realizada na CPU a uma velocidade de aproximadamente 27 tokens por segundo.
«Os modelos Phi-3 superam significativamente os modelos de linguagem de tamanhos iguais e maiores nas principais métricas. “Phi-3-mini tem desempenho melhor do que modelos com o dobro de seu tamanho, e Phi-3-small e Phi-3-medium superam modelos muito maiores, incluindo o GPT-3.5T”, disse a Microsoft.
A União Europeia finalmente chegou a acordo sobre a primeira lei do mundo que regulamenta…
O novo recurso Recall do sistema operacional Windows 11, que está atualmente em testes, tem…
O jogo de tiro competitivo de heróis da Valve, Deadlock, parece estar se aproximando de…
Só os preguiçosos não falam sobre a ameaça de excesso de stock no mercado chinês…
O objetivo do serviço atualizado é preservar o histórico da comunicação do trabalho. Gravações, transcrições…
Os padrões da indústria e tecnologias relacionadas exigem desenvolvimento e aprovação antecipados, por isso a…