O Google atualizou mais uma vez seu ranking Android Bench, que reúne os melhores modelos de IA para desenvolvimento de aplicativos Android. A lista agora inclui muitos modelos de código aberto e fornece informações detalhadas sobre os tokens utilizados e o custo de execução desses modelos.
Fonte da imagem: developer.android.com
Uma área em que os grandes modelos de linguagem realmente se destacaram foi na programação, com sua capacidade de auxiliar no desenvolvimento de aplicativos e outros projetos de software. O Google Gemini 3.1 Pro foi o primeiro líder do Android Bench, e o OpenAI GPT 5.4 empatou com ele posteriormente. Em 18 de maio, o GPT 5.5 assumiu a liderança, superando o Gemini 3.1 Pro e o GPT 5.4 em quase 2%.
Os resultados do benchmark se tornaram mais transparentes, já que o Google forneceu alguns detalhes. O ranking agora inclui a latência média — o tempo necessário para resolver 100 problemas em 10 execuções; o consumo médio total de tokens — o consumo de tokens por execução ao longo das 10 execuções; e o custo médio — o custo de executar um benchmark em dólares americanos.
Isso nos ajudou a entender que, embora o GPT 5.5 seja um pouco mais poderoso, executar as mesmas tarefas no Gemini 3.1 Pro custa menos da metade. Dos modelos de código aberto, o GLM 5.1 teve o melhor desempenho. O Google lançou recentemente o poderoso Gemini 3.5 Flash, e o ainda mais poderoso Gemini 3.5 Pro será lançado em breve — será interessante ver como eles se comparam ao líder atual da OpenAI, o GPT 5.5.