O Google revelou soluções em nuvem na I/O 2022 com base em seu acelerador TPU v4 AI, que é mais que o dobro do desempenho e três vezes a eficiência de energia do TPU v3. A empresa oferece clusters que contêm 4096 aceleradores de uma só vez, enquanto na geração anterior eles não incluíam mais de 1024 chips. Os novos clusters oferecem até 6 Tbps de largura de banda por host, permitindo que você treine rapidamente os maiores modelos.
Imagens: Google
Segundo a empresa, um cluster TPU v4 tem um desempenho de mais de 1 Eflops. É verdade, neste caso estamos falando de cálculos BF16 ou INT8. Um acelerador de nuvem TPU v4 equipado com 32 GB de memória HBM2 (1,2 TB/s) produz até 275 Tflops neste modo, consumindo em média 170 watts. Agora, a empresa está ocupada instalando esses clusters em seus próprios data centers, e a energia de muitos deles será 90% fornecida por fontes “verdes” livres de carbono.
Um desses data centers, localizado em Mays County (Oklahoma), recebeu um complexo de oito clusters TPU v4 com um desempenho total de cerca de 9 Eflops. De acordo com a empresa, este é o mais produtivo entre os clusters disponíveis publicamente (US$ 3,22/hora por chip) desta classe.