À medida que a AMD tenta aumentar a sua presença no mercado de IA, a fabricante não só produz hardware para essas necessidades, como também decidiu desenvolver modelos de linguagem. O resultado disso foi o anúncio do primeiro AMD-135M de linguagem pequena.
O novo modelo de linguagem pequena AMD-135M pertence à família Llama e destina-se à implantação em empresas privadas. Não está claro se o novo modelo de IA da AMD tem algo a ver com a recente aquisição da startup Silo AI pela empresa (o acordo ainda não foi finalizado e ainda não foi aprovado por vários reguladores, então provavelmente não). No entanto, este é um passo claro para atender às necessidades específicas do cliente com um modelo pré-treinado construído pela AMD usando seu próprio hardware.
A vantagem do modelo de linguagem da AMD é que ele usa o que é chamado de decodificação especulativa. O último é um “modelo de rascunho” menor que gera vários tokens candidatos em uma passagem direta. Os tokens são então passados para um “modelo alvo” maior e mais preciso que os valida ou corrige. Por um lado, esta abordagem permite gerar vários tokens simultaneamente, mas por outro lado, isso leva ao aumento do consumo de energia devido ao aumento da transferência de dados.
O modelo de linguagem AMD vem em duas versões: código AMD-Llama-135M e AMD-Llama-135M. Cada um deles é otimizado para tarefas específicas, aumentando o desempenho de inferência usando tecnologia de decodificação especulativa. O modelo básico AMD-Llama-135M foi treinado do zero usando 670 bilhões de tokens de dados compartilhados. Esse processo levou seis dias usando quatro nós de 8 canais baseados no AMD Instinct MI250.
O modelo de código AMD-Llama-135M, por sua vez, foi aprimorado devido ao treinamento adicional baseado em 20 bilhões de tokens adicionais focados especificamente na escrita de código de programa. O treinamento adicional do modelo levou quatro dias usando o mesmo conjunto de hardware AMD. A empresa acredita que otimizações adicionais dos seus modelos poderão levar a melhorias adicionais no seu desempenho e eficiência.
Especialistas na área de tecnologias sem fio já estão desenvolvendo uma nova geração de comunicações…
Uma entrevista muito extensa com o fundador e chefe da CATL, Robin Zeng, à Reuters…
A incerteza sobre o financiamento em 2025 e a expectativa de uma nova liderança da…
Foxconn, o maior fabricante mundial de eletrônicos terceirizado de Taiwan e principal parceiro de montagem…
A indústria chinesa está actualmente a lutar para resolver um dos seus maiores problemas com…
A imperfeição de um simulador 3D de fenômenos ópticos não lineares em materiais, que no…