O Paul Allen Institute for Artificial Intelligence (AI2) planeja lançar um grande Modelo de Linguagem Aberta (OLMo) focado em pesquisa em 2024. O OLMo está sendo desenvolvido em parceria com a AMD, o consórcio Large Unified Modern Infrastructure, que fornece poder de supercomputação para treinamento e educação, e Surge AI e MosaicML, que fornecem dados e código de treinamento.
Fonte da imagem: pixabay
Hanna Hajishirzi, diretora sênior de pesquisa neurolinguística (PNL) da AI2, afirmou que “as comunidades de pesquisa e tecnologia precisam de acesso a modelos de linguagem aberta para o avanço da ciência. Com o OLMo, estamos trabalhando para preencher a lacuna entre as capacidades e conhecimentos de pesquisa pública e privada, construindo um modelo de linguagem competitivo.” De acordo com Khadzhishirzi, embora muitos modelos de código aberto tenham trazido novas experiências e até “ultrapassado os limites”, eles não foram especificamente direcionados.
O AI2 vê o OLMo como uma plataforma, não apenas outro modelo de IA e, de acordo com Hadjishirzi, tudo o que o AI2 fizer para o OLMo será público, incluindo o conjunto de dados e a API. Outra diferença com o OLMo, de acordo com Noah Smith, diretor sênior de pesquisa em PNL da AI2, é permitir que o modelo use e entenda melhor livros didáticos e trabalhos acadêmicos. Observe que esta não é a primeira tentativa de fazer uma rede neural científica. Por exemplo, o infame Galactica da Meta*. No entanto, Hajishirzi acredita que ensinar AI2 na academia e ferramentas desenvolvidas por cientistas para pesquisa, como o Semantic Scholar, ajudará a tornar o OLMo “exclusivamente adequado” para aplicações científicas e acadêmicas.
O treinamento deve começar nos próximos meses no supercomputador LUMI na Finlândia, o supercomputador mais rápido da Europa a partir de janeiro. O AI2 convida os funcionários a ajudar a fornecer informações e avaliar criticamente o processo de desenvolvimento do modelo. Os interessados podem entrar em contato com os organizadores na página do projeto OLMo.
* Está incluída no rol de associações públicas e entidades religiosas em relação às quais o tribunal tenha proferido decisão que entrou em vigor para liquidar ou proibir atividades com base na Lei Federal nº 114-FZ, de 25 de julho de 2002 “Sobre o combate à atividade extremista”.