O Google Cloud introduziu a quinta geração de processadores tensores para treinamento de IA

Na próxima conferência anual Cloud Next, o Google Cloud anunciou o lançamento da quinta geração de seus processadores tensores (TPU) para treinamento de redes neurais – TPU v5e. O Google anunciou a quarta versão anterior desses processadores em 2021, mas eles só foram disponibilizados para desenvolvedores em 2022.

Fonte da imagem: Frederic Lardinois/TechCrunch

A empresa lembra que ao criar uma nova versão do chip, atenção especial foi dada à sua eficiência. Comparado à geração anterior, o novo processador promete uma melhoria de desempenho de 2x por dólar para treinamento de grandes modelos de linguagem (LLMs) e redes neurais generativas, bem como uma melhoria de 2,5x no desempenho pelo mesmo critério para sistemas de inferência.

«Esta é a TPU em nuvem mais econômica e acessível até o momento”, disse Mark Lohmeyer, vice-presidente e gerente geral de infraestrutura de computação e ML do Google Cloud, em uma coletiva de imprensa antes do anúncio de hoje.

Fonte da imagem: Google

Ao mesmo tempo, destacou que a empresa não economizou nas características técnicas do TPU v5e em prol da rentabilidade. Os clusters podem incluir até 256 chips TPU v5e conectados por uma interconexão de alta velocidade com uma taxa de transferência total de mais de 400 Tbps. O desempenho dessa plataforma é de 100 Pops (Petaops) nos cálculos do INT8.

«Permitimos que nossos clientes escalem facilmente seus modelos de IA além dos limites físicos de uma única TPU ou de um único cluster de TPU. Em outras palavras, uma grande carga de trabalho de IA agora pode ser distribuída em vários clusters físicos de TPU, aumentando literalmente para dezenas de milhares de chips. Neste caso, o trabalho será realizado de forma rentável. Como resultado, ao aproveitar GPUs e TPUs em nuvem, realmente oferecemos aos nossos clientes maior escolha, flexibilidade e recursos adicionais para atender às necessidades do amplo conjunto de cargas de trabalho de IA que vemos continuar a proliferar”, acrescentou.

Além de anunciar uma nova geração de TPUs, o Google também anunciou que no próximo mês disponibilizará publicamente clusters virtuais A3 alimentados por GPUs Nvidia H100 dedicadas para desenvolvedores no próximo mês.