O próximo grande modelo de linguagem (LLM) da OpenAI não dará um salto tão grande quanto seus antecessores, dizem fontes online. Neste contexto, a OpenAI formou um grupo de desenvolvedores encarregados de descobrir possíveis maneiras de desenvolver e melhorar ainda mais a rede neural.
Fonte da imagem: OpenAI
O novo LLM da empresa tem o codinome Orion. A equipe que testou esse algoritmo descobriu que seu desempenho era melhor do que os LLMs existentes, mas as melhorias não foram tão dramáticas como na mudança do GPT-3 para o GPT-4. O ritmo de melhoria do LLM parece estar desacelerando, com o Orion sendo apenas marginalmente superior aos modelos de linguagem anteriores da empresa em algumas áreas, como codificação.
Para mudar isso, a OpenAI criou uma equipe de desenvolvedores cuja tarefa era encontrar estratégias que pudessem permitir à empresa continuar a melhorar o LLM diante da redução dos dados de treinamento. Segundo a fonte, as novas estratégias incluem o treinamento do Orion em dados sintéticos gerados por redes neurais, bem como a melhoria mais ativa do LLM após a conclusão do estágio inicial de treinamento. Funcionários da OpenAI se recusaram a comentar o assunto.