Foi descoberto que a IA médica é propensa à discriminação contra mulheres e ao racismo.

As primeiras tentativas de usar inteligência artificial na medicina foram feitas há muitos anos pela IBM com seu sistema Watson, mas, com o desenvolvimento da indústria, essa área de aplicação da tecnologia computacional se tornou cada vez mais difundida. Cientistas argumentam que a abordagem atual para treinar grandes modelos de linguagem na medicina torna o diagnóstico menos eficaz para mulheres e pessoas de determinadas raças.

Fonte da imagem: Nvidia

O Financial Times resumiu as opiniões de especialistas em áreas relacionadas na tentativa de explicar por que os modelos de linguagem existentes tendem a fornecer melhores recomendações de saúde para homens brancos. Historicamente, todo o campo da pesquisa médica tem se concentrado nas necessidades desse grupo de pacientes, razão pela qual a maior quantidade de dados médicos foi compilada para esta amostra, que é usada para treinar modelos de linguagem modernos em larga escala. Além disso, a OpenAI admitiu que, em diversas iniciativas médicas, utilizou modelos de linguagem menos sofisticados do que os disponíveis atualmente — simplesmente porque não havia outros modelos disponíveis na época dos projetos. Atualmente, os especialistas da startup, em colaboração com profissionais médicos, são forçados a fazer os ajustes apropriados no desempenho de sistemas especializados.

Em alguns casos, os modelos de linguagem em larga escala fornecem recomendações médicas pouco claras e precisas devido ao uso de uma gama muito ampla de fontes de dados para seu treinamento. De fato, se esta amostra incluísse conselhos de não profissionais no Reddit, a qualidade de tais recomendações, da perspectiva de profissionais médicos, pode ser questionada. Especialistas sugerem o desenvolvimento de materiais de treinamento para sistemas médicos de forma mais responsável, bem como o uso de dados mais localizados dentro de um único país ou localidade. Isso permitirá uma melhor consideração das especificidades locais sob a perspectiva da saúde.

Um problema à parte para clientes de grandes modelos de linguagem que tentam utilizá-losO sistema, projetado para fornecer aconselhamento sobre saúde, prioriza consultas mal escritas ou mal elaboradas. Se contiverem erros gramaticais ou ortográficos, o sistema terá menos probabilidade de fornecer recomendações corretas do que uma consulta perfeitamente elaborada. Os sistemas são frequentemente configurados para simplesmente recomendar que o solicitante consulte um médico se a consulta em si não atender a determinados critérios.

A proteção de dados pessoais e a confidencialidade médica também são questões sérias no treinamento de modelos de linguagem em larga escala, e já surgiram desafios legais nessa área. A tendência dos modelos de linguagem a “alucinarem” ao processar informações médicas representa um risco real à saúde e à vida humana. De qualquer forma, os especialistas concordam que o uso de IA na área da saúde traz mais benefícios do que malefícios; simplesmente requer uma priorização adequada. Por exemplo, os recursos de IA devem ser direcionados para a resolução de problemas na medicina que tradicionalmente recebem menos atenção, em vez de simplesmente tentar acelerar o diagnóstico em minutos ou segundos em comparação com médicos humanos, pois isso não faz muito sentido.