Os requisitos de hardware de grandes modelos de linguagem de IA são reduzidos pela metade a cada oito meses

Os grandes modelos de linguagem que alimentam os chatbots de IA estão avançando tão rapidamente que, em apenas oito meses, os recursos de hardware necessários para funcionar foram reduzidos pela metade – os próprios chips estão fazendo um progresso muito mais modesto.

Fonte da imagem: Gerd Altmann / pixabay.com

Existem duas maneiras de melhorar o desempenho dos sistemas de IA, observa Tamay Besiroglu, pesquisador do MIT: aumentar o tamanho de grandes modelos de linguagem, o que exigirá um aumento proporcional no poder de computação, embora o hardware de IA seja atualmente escasso; ou otimizar algoritmos subjacentes para fazer uso mais eficiente do hardware existente. Os atuais desenvolvedores de grandes modelos de linguagem parecem preferir a segunda abordagem.

Os cientistas analisaram o desempenho de 231 grandes modelos de linguagem desenvolvidos entre 2012 e 2023 e descobriram que a capacidade computacional necessária para executá-los caiu pela metade a cada oito meses, em média. Isto é significativamente mais rápido do que a Lei de Moore empírica, que afirma que o número de transistores num chip (uma medida do seu desempenho) duplica a cada 18 a 24 meses. Os investigadores observam que este aumento no desempenho dos sistemas de IA se deve em parte à otimização do código, embora isto não possa ser determinado com precisão porque os algoritmos de IA muitas vezes não podem ser analisados. O desenvolvimento de componentes de hardware, é claro, também desempenhou um papel importante.

A diferença nas taxas de desenvolvimento é um indicador da eficácia com que os desenvolvedores de grandes modelos de linguagem utilizam os recursos disponíveis. Não será possível otimizar algoritmos indefinidamente, acredita Besiroglou, e não está claro se esse ritmo de desenvolvimento continuará no longo prazo. Há também preocupações de que melhorar a eficiência dos modelos possa, pelo contrário, aumentar o consumo de energia da indústria de IA, pelo que é impossível focar apenas num aspecto e ignorar o resto, alertam os cientistas.