Ideal para IA: Micron lança o primeiro módulo de memória LPDRAM SOCAMM2 de 256 GB do mundo.

A Micron apresentou hoje o primeiro módulo de memória LPDRAM SOCAMM2 de alto desempenho do mundo, com 256 GB, projetado especificamente para data centers e cargas de trabalho de IA.

Fonte da imagem: micron.com

Este novo tipo de RAM consome três vezes menos energia e apresenta um tamanho de módulo compacto — é construído em cristais monolíticos de 32 Gb. Com uma CPU de 8 canais em um sistema com 2 TB de memória, o desempenho da carga de trabalho de inferência de IA (execução) aumenta em 2,3 vezes na métrica mais importante — tempo até o primeiro token.

O novo módulo de memória da Micron foi projetado para inferência de modelos de linguagem de grande porte e outras cargas de trabalho onde a capacidade de memória, a largura de banda, a eficiência e a latência determinam o desempenho e a escalabilidade. O formato SOCAMM2 é uma solução ideal, com módulos mais compactos e menor consumo de energia em comparação com os RDIMMs tradicionais. A Micron desenvolveu este componente em parceria com a Nvidia. Em cargas de trabalho de IA, a memória de vídeo na GPU é crucial, mas com caches KV de grande porte, parte dessa memória pode ser transferida para a memória compartilhada do sistema, mais barata, se esta for suficientemente rápida — uma capacidade oferecida pela LPDRAM SOCAMM2 da Micron.

admin

Compartilhar
Publicado por
admin

Postagens recentes

A Alibaba perdeu um de seus líderes no desenvolvimento de modelos de IA para o Qwen.

Pouco depois do lançamento dos smartphones compactos Qwen 3.5, a divisão Qwen da Alibaba, responsável…

48 minutos atrás

A China criou o primeiro drone do mundo feito de bambu — os satélites serão o próximo passo.

As civilizações antigas distinguem-se pela sua fidelidade à tradição, incluindo o uso de materiais autóctones.…

2 horas atrás

A Anthropic quase alcançou a OpenAI em receita anual.

Em meio ao boom da IA, as startups de IA raramente consideram a necessidade de…

2 horas atrás