A Microsoft apresentou o modelo avançado de IA Phi-2, com 2,7 bilhões de parâmetros. O modelo demonstrou excelentes resultados em uma ampla gama de testes, incluindo compreensão de linguagem, resolução de problemas matemáticos, programação e processamento de informações. A principal característica do Phi-2 é sua capacidade de competir e, muitas vezes, superar modelos de IA até 25 vezes maiores. O novo produto já está disponível através do Microsoft Azure AI Studio para pesquisadores e desenvolvedores que desejam integrar IA avançada em seus aplicativos.
Fonte da imagem: Microsoft
O CEO da Microsoft, Satya Nadella, revelou o Phi-2 no evento Ignite. Uma característica distintiva deste modelo é que ele é treinado em dados que correspondem à qualidade do nível educacional. Isso significa que os dados para treinamento do modelo foram cuidadosamente selecionados e estruturados, o que contribuiu para a precisão e eficiência do treinamento. Esta abordagem permite ao Phi-2 transferir de forma mais eficaz o conhecimento e as interpretações aprendidas com outros modelos, fortalecendo as suas capacidades nas áreas de compreensão da linguagem, raciocínio lógico e processamento de informação.
Desempenho médio em benchmarks agrupados em comparação com SLMs abertos populares
Phi-2 desafia ideias antigas sobre a relação entre o tamanho e o poder dos modelos de linguagem. O modelo é comparável a grandes modelos de IA, como o 7B Mistral da Mistral AI, o 13B Llama 2 da Meta✴ e até o 70B Llama-2. Digno de nota é a capacidade do Phi-2 de superar até mesmo o Gemini Nano do Google, o modelo de melhor desempenho da série Gemini projetado para funcionar em dispositivos móveis. Isto destaca o potencial do Phi-2 para tecnologia móvel, fornecendo resumo automático de texto, revisão avançada e correção gramatical e resposta inteligente contextual.
Comparação entre os modelos Phi-2 e Gemini Nano 2 com base nos benchmarks Gemini declarados
Os especialistas da Microsoft enfatizam que o alto desempenho do modelo Phi-2 foi alcançado sem o uso de métodos de aprendizagem por reforço baseados em feedback humano ou métodos de ajuste instrucional. Isso permite que o modelo minimize efetivamente o preconceito e reduza o risco de produção tóxica, tornando o Phi-2 um dos modelos mais seguros e éticos no campo da IA.
Segurança avaliada em 13 grupos demográficos com base no ToxiGen. Um subconjunto de 6.541 propostas é selecionado e pontuado entre 0 e 1 com base na perplexidade escalonada e na toxicidade da proposta. Uma pontuação mais alta indica que o modelo de IA tem menos probabilidade de gerar sugestões tóxicas em comparação com os benignos.
Phi-2 faz parte da série de modelos de linguagem pequena (SLMs) da Microsoft. O primeiro modelo desta série, Phi-1 com 1,3 bilhão de parâmetros, foi lançado no início deste ano e tinha como objetivo tarefas de programação em Python. Em setembro, o Phi-1.5 foi introduzido com um número semelhante de parâmetros, mas treinado em novos dados, incluindo textos sintéticos criados com programação em linguagem natural.
Comparação entre os modelos Phi-2 e Phi-1.5. Todas as tarefas são avaliadas no modo 0-shot, com exceção de BBH e MMLU, para os quais são usados 3-shot CoT e 5-shot, respectivamente
Phi-2 abre um novo capítulo no aprendizado de máquina, onde a qualidade e a eficiência do treinamento se tornam fatores-chave. Este modelo de IA não só demonstra os avanços significativos da Microsoft nesta área, mas também oferece novas oportunidades para desenvolvedores e pesquisadores em todo o mundo, abrindo a porta para tecnologias mais inteligentes e seguras do futuro.