A Sandisk acredita que a memória, e não os processadores, será o componente chave da infraestrutura de IA.

O segmento de IA é jovem no contexto da história da indústria de semicondutores como um todo, mas suas mudanças evolutivas já estão tendo um impacto significativo. Recentemente, tem-se falado cada vez mais sobre o papel crescente das CPUs em operações de inferência, mas a direção da Sandisk está plenamente confiante de que a memória desempenhará um papel decisivo na infraestrutura de IA.

Fonte da imagem: SK hynix

Este ponto de vista foi expresso por Alper Ilkbahar, CTO e Vice-Presidente Executivo da Sandisk, em entrevista à Nikkei Asian Review. Ele argumentou que GPUs e CPUs, por si só, não são suficientes para o desenvolvimento de infraestrutura de IA, visto que até mesmo o funcionamento do cérebro humano aponta para o papel fundamental da memória nesses sistemas. “Somos definidos por nossas memórias. Cada vez que você aprende algo novo, você se torna uma pessoa diferente. Literalmente, seu cérebro muda fisicamente, e você segue essa regra. Essencialmente, somos a soma de nossas memórias”, explicou um representante da Sandisk.

Ele acredita que a memória está se tornando cada vez mais importante por diversos motivos. Primeiro, grandes modelos de linguagem estão se tornando cada vez mais complexos, exigindo mais memória para funcionar. Segundo, sistemas de IA de desenvolvedores populares dependem cada vez mais de caches de chave-valor, que atuam como memória de curto prazo, permitindo que eles se lembrem de consultas anteriores do usuário em vez de reprocessar toda a consulta do zero quando solicitada por esclarecimentos. Essa abordagem aumenta a velocidade e a eficiência dos modelos, mas, como o contexto cresce constantemente em tamanho, exige mais memória para processamento. O setor está caminhando para uma abordagem de “mix de especialistas”, onde um único modelo de IA de grande porte contém vários modelos menores, cada um dos quais pode ser acionado para processar consultas altamente específicas. A ênfase está no trabalho com conjuntos de dados maiores, enquanto os avanços computacionais são mais lentos, de acordo com [fonte não especificada].Vice-presidente da Sandisk. A demanda pelos produtos da empresa está muito alta nessas condições. Os clientes estão dispostos a firmar contratos de longo prazo e fazer pagamentos antecipados, recebendo em troca a garantia de obter a capacidade de memória necessária dentro de um prazo específico. Recentemente, a Sandisk assinou contratos de fornecimento de memória de longo prazo com duração de até cinco anos, totalizando aproximadamente US$ 42 bilhões. Anteriormente, a Sandisk nem sequer cogitava uma estrutura contratual como essa.

A administração da empresa acredita no potencial da HBF — um novo tipo de memória de estado sólido com layout vertical semelhante ao da HBM, mas que oferece largura de banda comparável. Com o avanço da inferência, esse tipo de memória atenderá de forma otimizada às necessidades da infraestrutura de IA. A empresa está colaborando com a sul-coreana SK Hynix no desenvolvimento de padrões para HBF. Um protótipo de cristal HBF estará pronto até o final deste ano, e uma memória HBF completa com controlador será apresentada no próximo ano. O acordo com a Kioxia permite que a Sandisk compartilhe as instalações de produção da empresa no Japão até pelo menos 2032.