Meta oferece colaboração da Amazon e da Microsoft para treinar modelos de IA de lhamas

A Meta✴ já investiu milhões de dólares na criação e no desenvolvimento de modelos de IA de código aberto na família Llama, mas treinar grandes LLMs está se tornando cada vez mais caro. Então, como relata o The Information, a Meta✴ pediu ajuda aos seus “colegas”, Microsoft e Amazon, o que é bastante estranho, já que a própria Meta✴ possui enormes recursos de computação.

Quatro fontes disseram que a Meta✴ ofereceu a essas empresas algum tipo de “incentivo”, como a capacidade de influenciar o desenvolvimento de futuros modelos de IA Llama. Não está totalmente claro qual é o benefício para a Microsoft e a Amazon neste caso, já que elas próprias estão trabalhando em projetos de IA, principalmente comerciais, enquanto a Meta✴ ganha principalmente com publicidade. Além disso, o Llama é um projeto de código aberto, então patrocinar a criação de um concorrente forte no mercado não é muito lucrativo.

Além das discussões “mais sérias” com a Amazon e a Microsoft, também foram realizadas conversas com a Databricks, IBM, Oracle e representantes de pelo menos um investidor do Oriente Médio, de acordo com pelo menos duas fontes. Meta✴ também está em discussões com empresas para formar o grupo Llama Consortium no início de 2025. Durante as discussões, ela teria pedido principalmente dinheiro, bem como servidores ou outros recursos que compensassem o custo de treinamento dos modelos.

Fonte da imagem: Juan Camilo Guarin P/unsplash.com

Outras formas de apoio a potenciais parceiros também foram discutidas. Por exemplo, representantes seniores da Meta✴ poderiam participar de conferências de parceiros ou fornecer informações mais detalhadas sobre o processo de treinamento do modelo. Os resultados finais das negociações não foram publicados, mas em um futuro próximo provavelmente será possível rastrear em quais eventos dos concorrentes os representantes da Meta✴ participarão ativamente.

Em novembro de 2024, foi relatado que mais de 100.000 aceleradores NVIDIA H100 foram usados ​​para treinar o então novo modelo Llama-4. E em março, a NVIDIA anunciou modelos de IA Llama Nemotron com “nível de inteligência” ajustável com base nas soluções Meta✴.