À medida que a AMD tenta aumentar a sua presença no mercado de IA, a fabricante não só produz hardware para essas necessidades, como também decidiu desenvolver modelos de linguagem. O resultado disso foi o anúncio do primeiro AMD-135M de linguagem pequena.
Fonte da imagem: AMD
O novo modelo de linguagem pequena AMD-135M pertence à família Llama e destina-se à implantação em empresas privadas. Não está claro se o novo modelo de IA da AMD tem algo a ver com a recente aquisição da startup Silo AI pela empresa (o acordo ainda não foi finalizado e ainda não foi aprovado por vários reguladores, então provavelmente não). No entanto, este é um passo claro para atender às necessidades específicas do cliente com um modelo pré-treinado construído pela AMD usando seu próprio hardware.
A vantagem do modelo de linguagem da AMD é que ele usa o que é chamado de decodificação especulativa. O último é um “modelo de rascunho” menor que gera vários tokens candidatos em uma passagem direta. Os tokens são então passados para um “modelo alvo” maior e mais preciso que os valida ou corrige. Por um lado, esta abordagem permite gerar vários tokens simultaneamente, mas por outro lado, isso leva ao aumento do consumo de energia devido ao aumento da transferência de dados.
O modelo de linguagem AMD vem em duas versões: código AMD-Llama-135M e AMD-Llama-135M. Cada um deles é otimizado para tarefas específicas, aumentando o desempenho de inferência usando tecnologia de decodificação especulativa. O modelo básico AMD-Llama-135M foi treinado do zero usando 670 bilhões de tokens de dados compartilhados. Esse processo levou seis dias usando quatro nós de 8 canais baseados no AMD Instinct MI250.
O modelo de código AMD-Llama-135M, por sua vez, foi aprimorado devido ao treinamento adicional baseado em 20 bilhões de tokens adicionais focados especificamente na escrita de código de programa. O treinamento adicional do modelo levou quatro dias usando o mesmo conjunto de hardware AMD. A empresa acredita que otimizações adicionais dos seus modelos poderão levar a melhorias adicionais no seu desempenho e eficiência.