Dois anos atrás, o Google introduziu um novo algoritmo de busca Bert para melhores solicitações de consultas em diferentes idiomas. Com a ajuda da rede neural, o algoritmo analisa não palavras individuais, mas as propostas do todo, o que melhora significativamente a relevância da emissão. Descobriu-se que na Bert Base, é possível criar um AI Censor extremamente eficaz do que os desenvolvedores chineses usados.
Fonte de imagem: Shutterstock / SCMP
Como você sabe, o segmento de internet chinês é distinguido por um alto grau de censura. A complexidade dos truques chineses e de vários usuários não permitem um uso eficiente para os algoritmos de busca tradicionais de censura para publicações “kramol”. Por exemplo, uma pesquisa de palavras-chave atinge a precisão de 70%, e a precisão da rede neural treinada está se aproximando de 80%. Novo desenvolvimento chinês com II elementos no algoritmo Bert, mesmo sem a aprendizagem, torna possível aumentar a precisão da detecção do texto a ser censurado para 91%.
O algoritmo do Google Bert Open Source não pode analisar os textos com mais de 512 palavras. A fim de contornar essa restrição, os desenvolvedores da Universidade de Ligun de Shenyang e da Academia Chinesa de Ciências desenvolveram um algoritmo para quebrar grandes textos para a análise disponível para análise usando o BERT e a tecnologia da montagem subseqüente de textos inicial para o volume inicial. Ele acabou por uma solução que pode procurar até escondida entre as linhas.
Hoje na China, para garantir a censura na Internet – buscar o conteúdo de imoral e terrorista aos ataques ao Partido Comunista e no sistema no país – o enorme exército de censores – as pessoas funcionam. Este é um custo colossal de despesas. A inteligência artificial se aproxima não apenas para substituir tudo isso em uma análise da máquina, mas também promete literalmente não sufocar um fluxo crescente de dados, com os quais as pessoas simplesmente não podem lidar.