O sistema de moderação de IA do Discord bloqueou por engano mais de 8.000 contas inofensivas

\nO sistema de moderação de IA do Discord baniu mais de 8.000 usuários nos últimos dois meses depois que as imagens enviadas por eles foram sinalizadas incorretamente como conteúdo malicioso.\n\n

\n\nFonte da imagem: Mariia Shalabaieva/unsplash.com\n\nAs imagens que causaram falsos positivos incluíam planilhas, tabuleiros de xadrez, texturas de jogos e fundos transparentes simples. O Discord relatou que mais 200 usuários foram banidos no fim de semana antes que a empresa identificasse e corrigisse o problema. O incidente é um lembrete de que a moderação automatizada pode causar danos reais quando os sistemas de revisão de IA falham.\n\nDe acordo com o TechCrunch, o Discord disse que seu sistema foi projetado para comparar imagens enviadas com bancos de dados de material malicioso conhecido. Quando o sistema sinaliza conteúdo como malicioso, ele deve ser revisado por uma pessoa antes que a plataforma tome qualquer ação. Este processo de verificação falhou. The Verge informou que o erro levou ao bloqueio de usuários sinalizados como publicando conteúdo malicioso. Embora, na realidade, devesse primeiro ter fornecido um bloqueio temporário da capacidade de download de conteúdo como parte da verificação. O Discord também relatou que outro bug impedia que alguns banimentos fossem suspensos automaticamente depois que os funcionários revisavam e consideravam as contas “limpas”.\n\nSimplificando, o Discord tem proteção contra falsos positivos, mas o fluxo de trabalho para aplicá-la não funcionou como esperado. Para os usuários, o resultado foi desastroso: imagens inofensivas levaram ao bloqueio de suas contas. Para o Discord, um bug no sistema de verificação de imagens foi uma violação de confiança e segurança que afetou milhares de contas antes de ser corrigido.\n\nOs sistemas de moderação automatizados podem ser mais rápidos que os moderadores humanos,portanto, grandes plataformas os utilizam para procurar conteúdo malicioso em larga escala. O risco surge quando sinais automatizados acionam a atividade da conta antes que a verificação detecte o erro.\n\nO caso do Discord mostra por que o controle humano sobre a IA não pode ser descartado. Se o sistema puder revogar o acesso de uma conta antes da conclusão da revisão, as equipes da plataforma precisarão de controles claros para evitar que um sinal temporário se transforme em um banimento total. O Discord diz que corrigiu o problema e está restaurando as contas afetadas.\n