Pesquisadores encontraram uma maneira de dimensionar a IA sem treinamento adicional, mas não é certo

Uma equipe de pesquisadores do Google e da Universidade da Califórnia, Berkeley, propôs um novo método para dimensionar a inteligência artificial (IA). Isso é chamado de “busca em tempo de inferência”, que permite que o modelo gere múltiplas respostas para uma consulta e selecione a melhor. Essa abordagem pode melhorar o desempenho dos modelos sem treinamento adicional. No entanto, especialistas externos duvidaram da veracidade da ideia.

Fonte da imagem: gerada por IA

Anteriormente, a principal maneira de melhorar a IA era treinar grandes modelos de linguagem (LLM) em quantidades cada vez maiores de dados e aumentar o poder de computação ao executar (testar) o modelo. Isso se tornou a norma, ou melhor, a lei, para a maioria dos principais laboratórios de IA. O novo método proposto pelos pesquisadores envolve o modelo gerando múltiplas respostas possíveis para a consulta de um usuário e então escolhendo a melhor delas. Como observa o TechCrunch, isso melhorará significativamente a precisão das respostas, mesmo para modelos menores e mais antigos.

Como exemplo, os cientistas citaram o modelo Gemini 1.5 Pro, lançado pelo Google no início de 2024. Usando uma técnica de busca de tempo de inferência, o modelo superou o poderoso o1-preview do OpenAI em testes de matemática e ciências. Um dos autores do artigo, Eric Zhao, enfatizou: “Só selecionando aleatoriamente 200 respostas e verificando-as, o Gemini 1.5 claramente supera o o1-preview e até se aproxima do o1.”

No entanto, especialistas consideraram esses resultados previsíveis e não viram o método como um avanço revolucionário. Matthew Guzdial, pesquisador de IA da Universidade de Alberta, observou que o método só funciona quando a resposta correta pode ser claramente identificada, o que é impossível para a maioria dos problemas.

Mike Cook, pesquisador do King’s College London, concorda. Segundo ele, o novo método não melhora a capacidade de raciocínio da IA, mas apenas ajuda a contornar as limitações existentes. Ele explicou: “Se um modelo estiver errado 5% das vezes, então, ao testar 200 variantes, esses erros simplesmente se tornarão mais perceptíveis.” O principal problema é que o método não torna os modelos mais inteligentes, mas simplesmente aumenta a quantidade de computação necessária para encontrar a melhor resposta. Em condições reais, essa abordagem pode ser muito cara e ineficaz.

Apesar disso, a busca por novas maneiras de dimensionar a IA continua, pois os modelos atuais exigem enormes recursos computacionais e os pesquisadores se esforçam para encontrar métodos que melhorem o nível de raciocínio da IA ​​sem incorrer em custos excessivos.