Pesquisadores da Apple e da Universidade Estadual de Ohio criaram um novo modelo de difusão de correspondência de fluxo discreto em poucos passos (FS-DFM) que pode escrever texto 128 vezes mais rápido que seus concorrentes, informou o 9to5mac.com, citando o estudo “FS-DFM: geração rápida e precisa de texto longo com modelos de difusão de linguagem de correspondência de fluxo discreto em poucos passos”.
Fonte da imagem: Jackson Sophat/unsplash.com
De acordo com o estudo, o FS-DFM é capaz de transcrever fragmentos completos de texto em apenas oito etapas rápidas de refinamento. Outros modelos de difusão exigem mais de mil etapas para atingir o mesmo resultado.
Para isso, os pesquisadores utilizam uma abordagem de três etapas: primeiro, o modelo é treinado para lidar com diferentes tipos de iterações de refinamento. Em seguida, utilizam um modelo “professor” orientador, que o ajuda a fazer atualizações maiores e mais precisas a cada iteração, mantendo-se dentro do texto especificado. Por fim, ajustam o desempenho de cada iteração para que o resultado final seja alcançado em menos etapas, mantendo um modelo mais estável.
Comparado a modelos de difusão maiores, o FS-DFM apresentou bom desempenho em duas métricas importantes: perplexidade e entropia. A perplexidade reflete a qualidade do texto nos modelos de linguagem. Quanto menor, mais preciso e natural o texto soa. A entropia reflete a confiança com que o modelo seleciona cada palavra. Se a entropia for muito baixa, o texto pode se tornar repetitivo ou previsível, mas se for muito alta, pode parecer desconexo com palavras aleatórias.
Comparados aos modelos de difusão Dream com 7 bilhões de parâmetros e LLaDA com 8 bilhões de parâmetros, as variantes FS-DFM com 1,7 e 1,3 bilhão de parâmetros, bem como 0,17 bilhão de parâmetros, forneceram consistentemente menor perplexidade e entropia mais estável ao longo de todo o número de iterações.
Os desenvolvedores declararam que “planejam publicar o código do modelo e os pontos de verificação para facilitar a reprodutibilidade e desenvolvimentos futuros”.pesquisar.”