O Google descobriu como acelerar o treinamento de IA em 13 vezes e reduzir o consumo de energia em 10 vezes

O Google DeepMind desenvolveu um novo método de treinamento de inteligência artificial que promete melhorar significativamente a eficiência dos sistemas de IA e reduzir o consumo de energia na área de IA. A tecnologia pode ser a resposta às crescentes preocupações sobre o impacto ambiental dos data centers de IA.

Fonte da imagem: Google DeepMind

O JEST difere das abordagens tradicionais porque aprende com lotes inteiros de dados, em vez de partes individuais. O JEST primeiro constrói um modelo de IA menor que avalia a qualidade dos dados das fontes e classifica os pacotes por qualidade. Em seguida, compara sua pontuação com um conjunto de qualidade inferior. O JEST então determina quais pacotes são mais adequados para treinamento e, então, o modelo maior é treinado com base nos melhores dados selecionados pelo modelo menor.

Um fator chave para o sucesso do JEST é o uso de conjuntos de dados cuidadosamente selecionados e de alta qualidade. Isto torna o método particularmente exigente em termos de informação inicial e pode limitar a sua utilização por amadores e desenvolvedores não profissionais.

Curiosamente, o surgimento do JEST coincidiu com preocupações crescentes sobre o consumo de energia dos sistemas de IA. Segundo os investigadores, as cargas de trabalho de IA consumiram cerca de 4,3 GW de eletricidade em 2023, o que é comparável ao consumo anual de Chipre. Além disso, uma única consulta ChatGPT consome 10 vezes mais energia do que uma consulta de pesquisa do Google.

Os especialistas observam que a nova tecnologia pode ser usada de duas maneiras: para reduzir o consumo de energia, mantendo o desempenho atual, ou para alcançar a produtividade máxima com o mesmo nível de consumo de energia. A escolha da direção dependerá das prioridades da empresa e das tendências do mercado.

A implementação do JEST poderá ter um impacto significativo na indústria de IA, dado o alto custo de treinamento dos modelos atuais. Por exemplo, os custos de formação para o GPT-4 são estimados em 100 milhões de dólares e os modelos futuros poderão exigir investimentos ainda maiores. Assim, o método JEST apresentado pelo Google DeepMind abre oportunidades fundamentalmente novas para aumentar a eficiência e reduzir custos na tecnologia de IA. A aplicação prática do método ainda precisa ser avaliada.