Outra alternativa às plataformas NVIDIA: IBM uniu forças com Groq

A IBM e a Groq anunciaram uma parceria estratégica para fornecer aos clientes inferência de IA de alta velocidade a um preço acessível, combinando o Watsonx Orchestrate da IBM com as soluções de hardware da Groq, acelerando a implantação de sistemas de agentes de IA. Como parte da parceria, a Groq e a IBM planejam integrar e aprimorar a tecnologia vLLM da Red Hat com a arquitetura LPU da Groq.

Espera-se que esta solução conjunta permita que os clientes aproveitem os recursos do Watsonx Orchestrate de forma familiar e com suas ferramentas familiares dentro da plataforma de inferência GroqCloud, que fornece aos desenvolvedores acesso a processamento LLM de alta velocidade e baixo custo. Essa integração atenderá às principais necessidades dos desenvolvedores de IA, incluindo orquestração de inferência, balanceamento de carga e aceleração de hardware, otimizando, em última análise, o próprio processo de inferência. Os modelos IBM Granite também estão planejados para o GroqCloud para clientes IBM.

A IBM observou que as empresas continuam enfrentando desafios de velocidade, custo e confiabilidade ao fazer a transição de agentes de IA do piloto para a produção. A parceria entre a IBM e a Groq combina a velocidade de inferência, a relação custo-benefício e o acesso da Groq aos modelos de código aberto mais recentes com a orquestração de IA de agentes da IBM, fornecendo aos clientes a infraestrutura necessária para escalar, disse a empresa.

Fonte da imagem: Groq

A IBM informou que as LPUs oferecem inferência pelo menos cinco vezes mais rápida e econômica do que os sistemas equipados com aceleradores concorrentes, aparentemente referindo-se à NVIDIA. Isso garante latência e desempenho consistentemente baixos, ao mesmo tempo em que dimensiona as cargas de trabalho, o que é especialmente importante para agentes de IA em setores regulamentados. Como exemplo, a IBM citou clientes da área da saúde que recebem simultaneamente milhares de perguntas complexas de pacientes. Com a Groq, os agentes de IA da IBM poderão analisar informações em tempo real e fornecer respostas precisas instantaneamente, permitindo que as organizações neste setor tomem decisões mais rápidas e informadas.

Em setores não regulamentados, os clientes da IBM podem usar a plataforma GroqCloud para acelerar o desempenho dos agentes de IA e melhorar a automação de processos de RH e a produtividade dos funcionários. A IBM anunciou que disponibilizará imediatamente os recursos do GroqCloud aos clientes e que as equipes conjuntas com a Groq se concentrarão em fornecer os seguintes recursos aos clientes IBM:

A Groq captou US$ 1,8 bilhão em financiamento, incluindo uma rodada de financiamento de US$ 750 milhões no mês passado, com uma avaliação de US$ 6,9 bilhões. Seus investidores incluem Cisco e Samsung. A Groq também firmou parceria com a Aramco Digital, da Arábia Saudita. De acordo com o Wall Street Journal, a empresa implantou 12 data centers este ano e planeja implantar pelo menos mais 12 até 2026. Em 2024, a Groq mudou seu modelo operacional: deixou de vender seus aceleradores de IA e passou a oferecer serviços de data center ou nuvem.