A Microsoft, devido à gula do Bing Chat, teve que concordar em alugar aceleradores NVIDIA AI da Oracle

Não se sabe exatamente se a demanda pelos serviços de IA da Microsoft é grande ou se a empresa simplesmente não possui recursos computacionais suficientes, mas a gigante de TI teve que negociar com a Oracle sobre o uso de aceleradores de IA no data center desta última. Conforme relata o The Register, estamos falando sobre o uso de equipamentos Oracle para “descarregar” alguns dos modelos de linguagem da Microsoft usados ​​​​no Bing.

As empresas anunciaram um acordo plurianual na terça-feira. De acordo com a Microsoft, o uso simultâneo do Oracle Cloud e do Microsoft Azure pela empresa expandirá as capacidades do cliente e acelerará o trabalho com serviços de pesquisa. A cooperação se deve ao fato de que a Microsoft precisa cada vez mais de recursos computacionais para o declarado “crescimento explosivo” de seus serviços de IA, e a Oracle tem dezenas de milhares de aceleradores NVIDIA A100 e H100 para alugar.

Fonte da imagem: cliff1126/pixabay.com

O serviço Oracle Interconnect fornece interoperabilidade com a nuvem Microsoft Azure, permitindo que os serviços executados no Azure interajam com os recursos do Oracle Cloud Infrastructure (OCI). Esta solução já havia sido utilizada anteriormente, mas para clientes terceiros de duas empresas. A Microsoft agora está usando o Interconnect junto com o Azure Kubernetes Service para executar nós de IA na nuvem Oracle para o benefício do Bing Chat.

A Microsoft integrou o chatbot do Bing Chat em seu serviço de pesquisa e navegador em fevereiro. Não faz muito tempo, foi adicionada a capacidade, por exemplo, de gerar imagens diretamente durante o diálogo. Ao mesmo tempo, o uso de grandes modelos de linguagem requer um grande número de aceleradores para treiná-los, mas a inferência requer ainda mais poder computacional.

Foto: Microsoft

A Oracle diz que os superclusters de nuvem da empresa, que a Microsoft provavelmente usará, podem escalar até 32.768 aceleradores A100 AI ou 16.384 aceleradores H100 usando uma rede RDMA de latência ultrabaixa. A adição é o armazenamento da classe petabyte. A própria Microsoft evita dizer exatamente quantos nós Oracle a empresa precisa e parece que não pretende fazê-lo no futuro.

Esta não é a primeira vez que os concorrentes colaboram. Em setembro, a Oracle anunciou sua intenção de hospedar sistemas de banco de dados em data centers do Azure. Além disso, em maio de 2023, a Microsoft e a Oracle estavam explorando a possibilidade de alugar servidores de IA uma da outra, caso de repente não tivessem capacidade de computação suficiente para grandes clientes em nuvem. Anteriormente, havia rumores de que a Microsoft assinou acordos semelhantes com CoreWeave e Lambda Labs, aos quais a NVIDIA é mais favorável em matéria de fornecimento de aceleradores. Ao longo do caminho, a Microsoft está procurando alternativas mais econômicas aos modelos de linguagem OpenAI.