Hoje, na conferência de desenvolvedores Google I/O, o Google anunciou o lançamento do PaLM 2, seu mais recente modelo de linguagem grande (LLM). O PaLM 2 estará disponível como parte do chatbot do Google Bard e também será o modelo básico para a maioria dos novos recursos de IA de seus produtos. O PaLM 2 agora está disponível para desenvolvedores por meio da Google PaLM API, Firebase e Colab.
Fonte da imagem: Google
O Google, como o OpenAI, não forneceu muitos detalhes técnicos sobre como treinou esse modelo de IA – nem mesmo mencionou o número de parâmetros. A única coisa que os representantes da empresa indicaram sobre a parte técnica é que o PaLM 2 foi treinado com base na mais recente infraestrutura Google JAX e TPU v4. Em uma coletiva de imprensa antes da teleconferência de hoje, o vice-presidente do Google DeepMind, Zoubin Ghahramani, disse: “No decorrer de nosso trabalho, descobrimos que mais nem sempre é melhor. Em vez disso, a empresa decidiu se concentrar em suas capacidades.”
O Google diz que o novo modelo é mais adequado para raciocínio filosófico, matemática e lógica. Como observou Gahramani, a empresa treinou o modelo com um grande número de textos matemáticos e científicos com suporte para fórmulas matemáticas. Não é segredo que grandes modelos de linguagem – com ênfase na linguagem – têm dificuldade em lidar com problemas matemáticos sem recorrer a plug-ins de terceiros. No entanto, o Google afirma que o PaLM 2 pode facilmente resolver problemas matemáticos e até mesmo criar diagramas.
O PaLM 2 também melhorou o suporte para escrever e depurar código. O modelo foi treinado em 20 linguagens de programação, incluindo as populares como JavaScript e Python, bem como as altamente especializadas como Prolog, Verilog e Fortran. O PaLM 2 formou a base do Codey, o modelo especializado de IA do Google para escrita e depuração de código, que o Google também está lançando hoje como parte de seu serviço de conclusão e geração de código, entre outras coisas.
O Google também enfatizou que o PaLM 2 foi treinado em mais de 100 idiomas do mundo, tornando-o uma “ótima solução para tarefas multilíngues” do que os modelos anteriores, de acordo com a empresa.
O Google se refere ao PaLM como uma família de modelos que inclui muitos modelos. Entre eles está o Med-PaLM 2, modelo focado no conhecimento médico. Há também o Sec-PaLM, uma versão com foco em segurança, e uma versão reduzida do PaLM 2 que pode ser executada em smartphones e potencialmente abrir o PaLM para casos de uso com foco em privacidade, nos quais a IA funciona a partir do dispositivo do usuário.