Google possui o mais rápido supercomputador TPU v4 AI

Mas nem todos concordam com essa redação, porque os resultados da classificação ML Perf 0.7 publicada hoje podem ser interpretados de maneira um pouco diferente. Por exemplo, a NVIDIA está falando sobre o supercomputador mais rápido – baseado no A100, é claro – entre as soluções disponíveis comercialmente. Enquanto o Google usou o TPU v4 sem aviso prévio.

Quando se trata de sistemas de inteligência de máquinas, geralmente significa o uso de redes neurais já treinadas ou o processo de treinamento de uma nova rede. O último requer ordens de magnitude de mais recursos de computação e implica o uso de poderosos sistemas multinúcleo. O conjunto de testes MLPerf é frequentemente usado para avaliar o desempenho. Quanto à lista completa de participantes do MLPerf 0.7 com resultados detalhados, ela está disponível no site do projeto.

O Google desenvolve há muito tempo seus próprios aceleradores de aprendizado de máquina: em 2017, descrevemos um dos primeiros modelos de TPU capazes de multiplicar rapidamente matrizes 256 × 256. Mais recentemente, a terceira versão do TPU estabeleceu vários recordes no campo de “treinamento” de redes neurais. A base do sistema recorde foi o módulo Cloud TPU Pod, cada um desses módulos continha mais de 1000 chips Google TPU e desenvolveu mais de 100 Pflops.

Resultados publicados pelo Google. Barras cinza – os concorrentes mais rápidos que não são do Google

O principal concorrente do Google nessa área pode ser chamado de NVIDIA, que também presta muita atenção ao desenvolvimento de aceleradores de IA. Até as soluções baseadas em V100 competiram facilmente com o Google TPU v3, e o mais novo A100, baseado na arquitetura Ampere, demonstrou níveis ainda mais altos de desempenho no MLPerf Training.

Google TPU v3 e v4 vs. NVIDIA e Huawei. Fonte: ExtremeTech

No entanto, o Google não vai desistir e a divisão de Pesquisa do Google publicou os resultados de um novo teste do MLPerf Training 0.7, que é baseado nos coprocessadores de tensores TPU v4 ainda a serem anunciados. Não foi possível colocar o A100 em pó em todos os testes, mas a rivalidade acabou sendo bastante digna: em alguns cenários, a NVIDIA acabou sendo mais rápida, mas em outros o desenvolvimento do Google assumiu a liderança.

A NVIDIA, por sua vez, reporta 16 registros para o DGX A100 mais recente e observa separadamente que seus produtos estão disponíveis para compra (e executam quaisquer testes ML Perf ou cargas reais), enquanto os resultados dos concorrentes geralmente são incompletos ou obtidos no hardware. experimental ou impossível de adquirir agora.

A nova plataforma de teste de TPU do Google contém quatro vezes mais coprocessadores de IA, seu número chega a 4096

Para o teste, usamos a implementação de modelos de IA no TensorFlow, JAX, PyTorch, XLA e Lingvo. Quatro dos oito modelos foram “treinados” em menos de 30 segundos, o que é um resultado muito impressionante. Para comparação, em 2015, no hardware moderno da época, um processo de aprendizado semelhante levaria mais de três semanas. Em geral, o TPU v4 promete ser 2,7 vezes mais rápido que o TPU v3, mas o anúncio oficial da quarta iteração do coprocessador do Google marcará os pontos.

Para mais informações sobre o teste do MLPerf 0.7, confira o blog oficial do Google Cloud. Lá você também pode encontrar detalhes sobre os sistemas baseados em TPU, mas essas informações ainda estão limitadas à terceira versão do chip. Até o momento, sabe-se que a TPU de quarta geração é duas vezes mais rápida nas operações de multiplicação de matrizes, possui um subsistema de memória mais rápido e possui um sistema de interconexão aprimorado.