Intel Xeon várias vezes superou oito Tesla V100 no treinamento da rede neural

O processador central várias vezes superou em desempenho um monte de oito GPUs ao mesmo tempo com treinamento profundo em redes neurais. Parece algo de ficção científica, não é? Mas pesquisadores da Universidade Rice, com Intel Xeon, provaram que isso é real.

As GPUs sempre foram muito mais adequadas para o aprendizado profundo de redes neurais do que os processadores centrais. Isso ocorre devido à arquitetura da GPU, que consiste em muitos núcleos pequenos capazes de executar simultaneamente muitas tarefas pequenas, o que é necessário para o treinamento de redes neurais. Porém, os processadores centrais com a abordagem adequada podem ser muito eficazes no aprendizado profundo.
É relatado que, ao usar o algoritmo de aprendizado profundo SLIDE, o processador Intel Xeon com 44 núcleos era 3,5 vezes mais rápido que um monte de oito aceleradores de computação NVIDIA Tesla V100. Talvez seja a primeira vez que a CPU não apenas alcançou a GPU nesse cenário, mas também a superou, e isso é muito perceptível.
Um comunicado de imprensa da universidade disse que o algoritmo SLIDE não precisa de GPUs, pois adota uma abordagem completamente diferente. Normalmente, ao treinar redes neurais, é usada uma técnica de propagação de erro de aprendizado que utiliza multiplicação de matrizes, que é uma carga ideal para a GPU. Por sua vez, o SLIDE transforma o aprendizado em um problema de pesquisa, resolvido usando tabelas de hash.

Chefe da equipe de pesquisa do SLIDE Anshumali Shrivastava

Segundo os pesquisadores, isso reduz significativamente o custo computacional do treinamento de redes neurais. Para obter um ponto de referência, os pesquisadores usaram o sistema de laboratório da Universidade Rice com oito aceleradores Tesla V100 para treinar a rede neural usando a biblioteca do Google TensorFlow. O processo levou 3,5 horas. Depois disso, uma rede neural semelhante foi treinada usando o algoritmo SLIDE em um sistema com um processador Xeon de 44 núcleos e levou apenas 1 hora.
Vale a pena notar que, no sortimento da Intel, atualmente não existem modelos de processadores de 44 núcleos. Talvez os pesquisadores usaram algum tipo de chip personalizado ou ainda não lançado, mas isso é improvável. É muito mais provável que um sistema com dois Intel Xeon de 22 núcleos tenha sido usado aqui, ou apenas um erro tenha sido cometido no comunicado à imprensa, e estamos falando de 44 threads fornecidos por um processador de 22 núcleos. Mas, em qualquer caso, isso não diminui a conquista em si.
Obviamente, o algoritmo SLIDE ainda não passou por muitos testes e comprovou sua eficácia, além da ausência de recursos e armadilhas. No entanto, o que vemos agora é muito impressionante e pode realmente afetar muito o desenvolvimento da indústria.
.