“Mais do que ninguém”: Zuckerberg se vangloriou de um sistema com mais de 100 mil Nvidia H100 – Llama 4 é treinado nele.

Um novo passatempo surgiu entre os gigantes americanos de TI – uma competição para ver quem tem os maiores clusters e a maior confiança na superioridade de suas capacidades para treinar grandes modelos de linguagem de IA. Só recentemente, o chefe da Tesla, Elon Musk, se vangloriou de ter concluído a montagem do supercomputador xAI Colossus com 100 mil aceleradores Nvidia H100 para treinamento de IA, bem como o uso de mais de 100 mil dos mesmos aceleradores de IA pelo chefe de Meta✴ Mark Zuckerberg.

Fonte da imagem: CNET/YouTube

O chefe da Meta✴ observou que o referido sistema é usado para treinar um grande modelo de linguagem de próxima geração Llama 4. Este LLM é treinado “em um cluster que usa mais de 100.000 processadores H100 GPU AI, e isso é mais do que qualquer coisa que eu tenha visto em relatórios sobre o que os outros estão fazendo”, disse Zuckerberg. Ele não compartilhou detalhes sobre o que exatamente o Llama 4 já pode fazer. No entanto, como escreve a Wired, citando uma declaração do chefe da Meta✴, seu modelo de IA adquiriu “novas modalidades”, “torna-se mais forte no raciocínio” e “muito mais rápido”. ” .

Com este comentário, Zuckerberg claramente queria picar Musk, que já havia afirmado que seu superaglomerado xAI Colossus usa 100 mil aceleradores Nvidia H100 para treinar o modelo Grok AI. Musk disse mais tarde que o número de aceleradores no xAI Colossus triplicará no futuro. A Meta✴ também declarou anteriormente que planeja receber aceleradores de IA equivalentes a mais de meio milhão de H100 até o final deste ano. Assim, a empresa de Zuckerberg já possui uma quantidade significativa de equipamentos para treinar seus modelos de IA, e mais virão.

Meta✴ adota uma abordagem única para distribuir seus modelos Llama – torna-os totalmente gratuitos, permitindo que outros pesquisadores, empresas e organizações criem novos produtos baseados neles. Isso o diferencia do mesmo GPT-4o da OpenAI e Gemini do Google, que só estão disponíveis por meio da API. No entanto, Meta✴ impõe algumas restrições à licença do Llama, como o uso comercial. Além disso, a empresa não divulga exatamente como seus modelos são treinados. Caso contrário, os modelos Llama são de “código aberto” por natureza.

Considerando o número declarado de aceleradores usados ​​para treinar modelos de IA, surge a pergunta: quanta eletricidade tudo isso requer? Um acelerador especializado pode consumir até 3,7 MWh de energia por ano. Isto significa que 100 mil destes aceleradores consumirão pelo menos 370 GWh de eletricidade – como observado, o suficiente para fornecer energia a mais de 34 milhões de lares americanos médios. Como as empresas extraem toda essa energia? Segundo o próprio Zuckerberg, com o tempo o campo da IA ​​enfrentará limitações na capacidade de energia disponível.

A empresa de Elon Musk, por exemplo, utiliza vários enormes geradores móveis para alimentar um superaglomerado de 100 mil aceleradores localizado num edifício de mais de 7 mil m2 em Memphis, Tennessee. O Google pode não cumprir as suas metas de emissões de carbono, uma vez que aumentou as emissões de gases com efeito de estufa dos seus data centers em 48% desde 2019. Neste contexto, o antigo CEO da Google sugeriu mesmo que os EUA abandonassem os seus objectivos climáticos, permitindo que as empresas de IA operassem a plena capacidade e depois utilizassem as tecnologias de IA desenvolvidas para resolver a crise climática.

A Meta✴ evitou responder à questão de como a empresa conseguiu alimentar um cluster de computação tão gigante. A necessidade de fornecer a quantidade crescente de energia utilizada para IA forçou os mesmos gigantes da tecnologia Amazon, Oracle, Microsoft e Google a recorrerem à energia nuclear. Alguns estão a investir no desenvolvimento de pequenos reactores nucleares, enquanto outros assinaram contratos para reiniciar antigas centrais nucleares para satisfazer as crescentes necessidades energéticas.