A tecnologia de aprendizado profundo foi desenvolvida em hardware que não foi originalmente projetado para esse tipo de computação. O CEO da Nvidia, Jensen Huang, revelou no podcast de Joe Rogan que os pesquisadores pioneiros em aprendizado profundo trabalharam em um par de placas de vídeo GeForce GTX 580 de 3 GB em modo SLI em 2012.
Fonte da imagem: Nvidia
Pesquisadores da Universidade de Toronto inventaram o aprendizado profundo para aprimorar o reconhecimento de imagens em sistemas de visão computacional. Em 2011, Alex Krizhevsky, Ilya Sutskever e Geoffrey Hinton exploravam maneiras mais avançadas de criar ferramentas de reconhecimento de imagem. Na época, as redes neurais ainda não existiam. Em vez disso, os desenvolvedores usavam algoritmos criados manualmente para detectar bordas, cantos e texturas para o reconhecimento de imagens.
Os três pesquisadores criaram a AlexNet, uma arquitetura composta por oito camadas contendo um total de aproximadamente 60 milhões de parâmetros. Uma característica fundamental dessa arquitetura era sua capacidade de autoaprendizagem, usando uma combinação de camadas convolucionais e neurais profundas. Essa arquitetura foi tão eficaz que, após seu lançamento, superou o principal algoritmo de reconhecimento de imagem da época em mais de 70%, chamando a atenção da indústria.
Jensen Huang explicou que os desenvolvedores da AlexNet construíram seu algoritmo de reconhecimento de imagem em duas placas de vídeo GeForce GTX 580 em modo SLI. Além disso, a rede foi otimizada para funcionar em ambas as GPUs: as duas GPUs trocavam dados apenas quando necessário, reduzindo significativamente o tempo de treinamento. Isso faz da GTX 580 a primeira placa de vídeo do mundo a suportar uma rede de aprendizado profundo/aprendizado de máquina.
Ironicamente, esse marco foi alcançado em um momento em que a Nvidia investia muito pouco em IA. A maior parte de sua pesquisa e desenvolvimento em gráficos estava focada em gráficos 3D e jogos, bem como em…Tecnologia CUDA. A GeForce GTX 580 foi projetada especificamente para jogos e não oferecia suporte extensivo para acelerar redes de aprendizado profundo. Acontece que o paralelismo inerente às GPUs é exatamente o que as redes neurais precisam para serem executadas rapidamente.
Jen-Hsun Huang também explicou que a AlexNet, combinada com a GeForce GTX 580, permitiu que a Nvidia investisse no desenvolvimento de hardware para IA. Huang afirmou que, assim que a empresa percebeu que o aprendizado profundo poderia ser usado para resolver problemas globais, investiu todos os seus recursos, pesquisa e desenvolvimento na tecnologia em 2012. Isso levou ao lançamento da plataforma original de IA Nvidia DGX, baseada na arquitetura Volta com Tensor Cores de primeira geração e DLSS em 2016. Sem a GeForce GTX 580 e a AlexNet, a Nvidia talvez não tivesse se tornado a gigante da IA que é hoje.