À medida que a AMD tenta aumentar a sua presença no mercado de IA, a fabricante não só produz hardware para essas necessidades, como também decidiu desenvolver modelos de linguagem. O resultado disso foi o anúncio do primeiro AMD-135M de linguagem pequena.

Fonte da imagem: AMD

O novo modelo de linguagem pequena AMD-135M pertence à família Llama e destina-se à implantação em empresas privadas. Não está claro se o novo modelo de IA da AMD tem algo a ver com a recente aquisição da startup Silo AI pela empresa (o acordo ainda não foi finalizado e ainda não foi aprovado por vários reguladores, então provavelmente não). No entanto, este é um passo claro para atender às necessidades específicas do cliente com um modelo pré-treinado construído pela AMD usando seu próprio hardware.

A vantagem do modelo de linguagem da AMD é que ele usa o que é chamado de decodificação especulativa. O último é um “modelo de rascunho” menor que gera vários tokens candidatos em uma passagem direta. Os tokens são então passados ​​para um “modelo alvo” maior e mais preciso que os valida ou corrige. Por um lado, esta abordagem permite gerar vários tokens simultaneamente, mas por outro lado, isso leva ao aumento do consumo de energia devido ao aumento da transferência de dados.

O modelo de linguagem AMD vem em duas versões: código AMD-Llama-135M e AMD-Llama-135M. Cada um deles é otimizado para tarefas específicas, aumentando o desempenho de inferência usando tecnologia de decodificação especulativa. O modelo básico AMD-Llama-135M foi treinado do zero usando 670 bilhões de tokens de dados compartilhados. Esse processo levou seis dias usando quatro nós de 8 canais baseados no AMD Instinct MI250.

O modelo de código AMD-Llama-135M, por sua vez, foi aprimorado devido ao treinamento adicional baseado em 20 bilhões de tokens adicionais focados especificamente na escrita de código de programa. O treinamento adicional do modelo levou quatro dias usando o mesmo conjunto de hardware AMD. A empresa acredita que otimizações adicionais dos seus modelos poderão levar a melhorias adicionais no seu desempenho e eficiência.

avalanche

Postagens recentes

OpenAI excluiu acidentalmente possíveis evidências em processo de direitos autorais

No final do ano passado, iniciou-se um processo no qual o The New York Times…

24 segundos atrás

Recursos ocultos do Microsoft Bing Wallpaper assustaram os usuários

A Microsoft lançou o aplicativo Bing Wallpaper, que atualiza o plano de fundo da área…

30 minutos atrás

“Haverá mais por vir”: um funcionário da Rockstar intrigou os fãs com “coisas absolutamente alucinantes” em GTA VI

Enquanto os fãs aguardam ansiosamente o próximo trailer de GTA VI, o ambicioso thriller policial…

40 minutos atrás

“James Webb” foi o primeiro na história a encontrar o “ziguezague de Einstein” – uma curvatura única do espaço-tempo

As lentes gravitacionais, previstas há 90 anos por Einstein, foram confirmadas pela observação quatro anos…

1 hora atrás

O segundo carro elétrico Xiaomi será lançado um ano após o primeiro e será visivelmente diferente dele

Os esforços da Xiaomi para conquistar o seu lugar no altamente competitivo mercado de veículos…

2 horas atrás