O consórcio MLCommons anunciou a disponibilidade do benchmark aberto MedPerf, com o qual as empresas podem testar com segurança modelos de IA para a área médica em dados reais sem divulgá-los, escreve SiliconANGLE. O MedPerf ajudará a “catalisar a adoção mais ampla da IA médica”, levando a uma prática clínica mais eficiente e econômica. Os benchmarks MLCommons MLPerf AI já se tornaram o padrão da indústria para testar e validar modelos AI.
De acordo com um artigo preparado pelo MLCommons Medical Working Group para a revista Nature Machine Intelligence, a IA médica tem um enorme potencial para o avanço da saúde. Para liberar esse potencial, é necessário um método quantitativo sistemático para avaliar o desempenho dos modelos de IA usando conjuntos de dados heterogêneos em grande escala que podem abranger uma ampla gama de grupos de pacientes. De acordo com os criadores, o MedPerf oferece apenas uma metodologia consistente e rigorosa para quantificar o desempenho de modelos médicos de IA para aplicações do mundo real.
Fonte: MLCommons
Ao mesmo tempo, a MedPerf garante total confidencialidade dos dados e proteção da propriedade intelectual de cada modelo, garantindo que qualquer dado utilizado nunca saia dos sistemas do prestador de serviços médicos. Além disso, o método de design colaborativo utilizado mantém uma abordagem neutra e científica para a validação clínica da IA e permite a identificação de novas aplicações onde a IA pode melhorar o desempenho clínico.
A MLCommons afirmou que seus benchmarks tiveram um impacto positivo no desenvolvimento de tecnologias de IA em muitos setores e que o benchmark proposto para IA médica ajudará a acelerar o desenvolvimento do setor de saúde. Em particular, o MedPerf ajudará a acelerar a adoção da IA na medicina, oferecendo aos desenvolvedores uma maneira melhor de atender às populações de pacientes sub-representadas. O MedPerf já foi validado no Federated Tumor Segmentation Challenge e em quatro outros estudos piloto acadêmicos.