MediaTek pegou na “fraude” os resultados de testes de processadores sintéticos

A AnandTech, especialista em recursos, suspeita que o desenvolvedor de microprocessadores de Taiwan MediaTek tenha superestimado artificialmente o desempenho de seus processadores móveis em testes sintéticos. De acordo com o colunista Andrei Frumusanu, a empresa está manipulando as configurações de DVFS (Dynamic Voltage and Frequency Scaling ou Dynamic Frequency and Voltage Scaling), que a Samsung encontrou uma vez.

Especialistas observam que essa prática, pelo menos na indústria de smartphones, está longe da primeira vez. Em 2013, a Samsung acabou com um escândalo e um processo de US $ 13,4 milhões. A empresa, por meio do DVFS, superestimou os resultados de desempenho nos benchmarks do subsistema gráfico dos chipsets Exynos nos smartphones Galaxy S4 e Galaxy Note 3. Outras empresas também foram presas em um jogo imundo. Mas depois que a fraude foi descoberta, os principais atores se estabeleceram e pararam de recorrer a esses métodos.
No entanto, o relé foi interceptado pelos fabricantes de dispositivos chineses. Algum tempo atrás, com a superestimação dos resultados dos testes, a Huawei foi pega, o que, quando os benchmarks foram lançados, desativou o mecanismo responsável pela limitação do processador em seus dispositivos. Graças a isso, os benchmarks mais pesados ​​podem literalmente espremer todo o suco dos cristais, até desligar os dispositivos devido ao superaquecimento. Mas quando o truque foi revelado, a Huawei tornou esse mecanismo mais honesto e transparente, embora não o abandonasse completamente.
Mas o grande problema é que o mercado chinês de dispositivos é tão grande que simplesmente não há oportunidade física para verificar cada jogador. No entanto, na maioria das vezes os fabricantes de dispositivos foram pegos na fraude, e não os criadores do SoC móvel, que, como se viu, também estavam interessados ​​em exagerar o desempenho em testes sintéticos. E desta vez, os especialistas da AnandTech acharam que o MediaTek estava jogando um jogo desonesto.
Tudo começou com o fato de suspeitar-se da versão européia do smartphone Oppo Reno3 Pro, construído com base no chipset MediaTek Helio P95. Os jornalistas ficaram surpresos ao constatar que, no benchmark do sistema PCMark, o desempenho deste SoC foi superior ao esperado de uma classe semelhante de processadores que usam núcleos Cortex-A75. O smartphone Helio P95 foi mais rápido que a versão chinesa do Reno3, alimentada pelo Dimensity 1000L – um chip muito mais produtivo e fresco. Ao mesmo tempo, outra versão chinesa do dispositivo, montada com base no Snapdragon 765G, não mostrou desvios nos indicadores de desempenho. Ou seja, se a própria Oppo fosse culpada pela “trapaça”, isso certamente também seria encontrado em todos os seus smartphones. Portanto, são processadores MediaTek.

Desempenho do Real Oppo Reno3 baseado no Helio P95 (esquerda) versus artificialmente alto (direita)

Os jornalistas conseguiram obter uma versão anônima do PCMark e verificar novamente os resultados. Acabou que eles são realmente diferentes. A diferença na pontuação geral de desempenho foi de cerca de 30% e, em alguns indicadores importantes, atingiu 75%. Por exemplo, ao calcular o desempenho em um editor de texto.
A principal responsabilidade pelos resultados dos testes sintéticos reside, é claro, no hardware. No entanto, um papel significativo é desempenhado pela parte do software, assim como pelo DVFS, responsável pela economia de energia, pela frequência do processador sob carga e outros parâmetros e pelo trabalho do planejador.
Os jornalistas encontraram o arquivo power_whitelist_cfg.xml nos arquivos de firmware do dispositivo. Geralmente está localizado no diretório / vendor / etc. A verificação do arquivo revelou várias configurações de gerenciamento de energia para vários testes sintéticos populares (GeekBench, AnTuTu, 3DBench, PCMark e outros), nos quais o parâmetro chamado “Modo Esportes” sofre uma alteração.

Configurações do Modo Esportes para o Reno3 Pro em diferentes benchmarks

Além disso, os jornalistas observaram a disponibilidade de configurações para o teste GFXBench, que geralmente é usado apenas por testadores profissionais e jornalistas especializados.
Verificou-se que o “modo esportivo” altera alguns parâmetros do DVFS para o SoC, por exemplo, as configurações do controlador de memória, o que o força a manter constantemente a frequência máxima. O agendador nesse modo também está configurado para direcionar mais agressivamente a carga no processador, o que faz com que os núcleos da CPU captem rapidamente a frequência máxima e a mantenham por mais tempo.
Alterações nas configurações do DVFS foram encontradas não apenas nos smartphones Oppo Reno3 Pro em execução em diferentes processadores MediaTek, mas também em dispositivos de outros fabricantes que estavam nas mãos de jornalistas. A lista pode ser encontrada abaixo – os carrapatos indicam exagero artificial dos resultados.

A lista contém até o antigo modelo Sony XA1, lançado em 2016. Isso é muito estranho, já que o fabricante japonês sempre tentou evitar essas práticas injustas. E há uma explicação lógica para isso: os especialistas da AnandTech concluem que o próprio Mediatek implementa as alterações nas configurações, que as integram aos pacotes de suporte de software para sua plataforma (Board Support Package, BSP).

Novo firmware Oppo Reno3 Pro (P95) e antigo (direita). O novo código não menciona o “modo esportivo”

Mais confiança na correção desta versão foi adicionada pelo fato de que, no firmware mais recente do Oppo Reno3 Pro, os arquivos de configuração do “modo esportivo” para testes sintéticos desapareceram. No entanto, nos próprios benchmarks, o desempenho ainda é superestimado. A empresa parece estar escondendo seus truques em outros lugares.
Os representantes da AnandTech procuraram a MediaTek para comentários, mas a empresa respondeu que os resultados do benchmark refletem a imagem real das capacidades do chipset. E se houver alguma dúvida, os fabricantes de dispositivos devem perguntar, porque eles mesmos escolhem as configurações necessárias. Vamos ver o que se segue, mas parece que estamos aguardando um longo julgamento e uma revisão de opiniões estabelecidas sobre o desempenho de toda uma classe de dispositivos móveis.
.