Pesquisadores do Instituto de Ciência e Tecnologia da Coreia (KAIST) criaram o modelo DarkBERT AI para pesquisar “informações científicas valiosas” na dark web. A rede neural possui filtros especiais para isso, desenvolvidos para proteger os usuários de informações indesejadas.
Fonte da imagem: freepik
O DarkBERT é baseado na arquitetura RoBERTa desenvolvida em 2019. Ele experimentou uma espécie de renascimento e os pesquisadores descobriram que a arquitetura realmente oferece mais desempenho do que estava disponível anteriormente. Para treinar o modelo de IA, os pesquisadores examinaram a dark web por meio do firewall anônimo do Tor e filtraram os dados brutos usando desduplicação, balanceamento de categoria e pré-processamento de dados para criar o conjunto de dados necessário para o treinamento. O resultado do trabalho feito foi o DarkBERT, que consegue analisar pedaços de conteúdo da dark web e extrair dela informações úteis.
Uma das principais características dos modelos de linguagem grandes (LLMs) é a compreensão da linguagem. A dark web usa uma mistura muito específica de idiomas para comunicação empresarial, e o DarkBERT foi treinado nisso. O estudo descobriu que o DarkBERT supera outros grandes modelos de linguagem, o que deve permitir que pesquisadores de segurança e policiais se aprofundem na dark web.
Tal como acontece com outros LLMs, isso não significa que o trabalho no DarkBERT esteja concluído. Segundo os pesquisadores, eles pretendem continuar treinando e ajustando o modelo para melhorar seus resultados.