O Facebook está desenvolvendo novas tecnologias para ajudar a direcionar seus esforços para que a IA aprenda a resistir ao assédio online. O ambiente de teste de simulação ativada pela Web (WES) usa um exército de bots ajustados para simular o mau comportamento humano, para o qual os engenheiros do Facebook estão tentando encontrar as melhores medidas defensivas.
O pesquisador do Facebook, Mark Harman, explicou que o WES tem três dimensões principais. Primeiro, ele usa o aprendizado de máquina para treinar bots para imitar o comportamento real das pessoas no Facebook. Segundo, o WES pode automatizar interações de bot em larga escala, de milhares a milhões. Finalmente, os bots são implantados com base no estado atual da rede social, o que lhes permite interagir entre si e com o conteúdo real do Facebook, enquanto separa o ambiente de teste dos usuários reais.
Os robôs realizam ações como tentar comprar ou vender itens ilegais, como armas e drogas. O bot pode usar o Facebook como uma pessoa normal, pesquisando e visitando páginas. Os engenheiros garantem que não possam ignorar as medidas de segurança. Os testes devem produzir padrões comportamentais e maneiras de dificultar a violação das normas da comunidade.
O Facebook tem uma longa história de desenvolvimento de métodos para evitar assédio, perseguição, discurso de ódio, atividade criminosa, desinformação e outros tipos de irregularidades em sua plataforma. Na conferência F8 do Facebook em 2018, o tecnólogo-chefe Mike Schroepfer disse que a empresa está investindo pesadamente em pesquisa de IA e escalabilidade massiva com pouco ou nenhum controle humano.