Os grandes modelos de linguagem que alimentam os chatbots de IA estão avançando tão rapidamente que, em apenas oito meses, os recursos de hardware necessários para funcionar foram reduzidos pela metade – os próprios chips estão fazendo um progresso muito mais modesto.
Fonte da imagem: Gerd Altmann / pixabay.com
Existem duas maneiras de melhorar o desempenho dos sistemas de IA, observa Tamay Besiroglu, pesquisador do MIT: aumentar o tamanho de grandes modelos de linguagem, o que exigirá um aumento proporcional no poder de computação, embora o hardware de IA seja atualmente escasso; ou otimizar algoritmos subjacentes para fazer uso mais eficiente do hardware existente. Os atuais desenvolvedores de grandes modelos de linguagem parecem preferir a segunda abordagem.
Os cientistas analisaram o desempenho de 231 grandes modelos de linguagem desenvolvidos entre 2012 e 2023 e descobriram que a capacidade computacional necessária para executá-los caiu pela metade a cada oito meses, em média. Isto é significativamente mais rápido do que a Lei de Moore empírica, que afirma que o número de transistores num chip (uma medida do seu desempenho) duplica a cada 18 a 24 meses. Os investigadores observam que este aumento no desempenho dos sistemas de IA se deve em parte à otimização do código, embora isto não possa ser determinado com precisão porque os algoritmos de IA muitas vezes não podem ser analisados. O desenvolvimento de componentes de hardware, é claro, também desempenhou um papel importante.
A diferença nas taxas de desenvolvimento é um indicador da eficácia com que os desenvolvedores de grandes modelos de linguagem utilizam os recursos disponíveis. Não será possível otimizar algoritmos indefinidamente, acredita Besiroglou, e não está claro se esse ritmo de desenvolvimento continuará no longo prazo. Há também preocupações de que melhorar a eficiência dos modelos possa, pelo contrário, aumentar o consumo de energia da indústria de IA, pelo que é impossível focar apenas num aspecto e ignorar o resto, alertam os cientistas.