O Reddit se fechou para mecanismos de busca e bots de IA que não pagam pelo uso do conteúdo da plataforma

A rede social Reddit continua combatendo web bots que utilizam gratuitamente o conteúdo da plataforma para treinar redes neurais. Segundo a fonte, nas últimas semanas, a administração do Reddit ajustou o arquivo robot.txt, que informa aos bots se devem ou não rastrear seções do site, para que o conteúdo da comunidade e os comentários dos usuários não sejam mais exibidos corretamente em muitas pesquisas. motores.

Fonte da imagem: redditinc.com

A mensagem afirma que atualmente apenas o sistema do Google exibe corretamente os resultados da pesquisa das últimas postagens no Reddit. Ao mesmo tempo, em outros motores de busca, como Bing ou DuckDuckGo, solicitações semelhantes são processadas incorretamente, ou seja, ou não encontram as páginas de interesse dos usuários ou exibem apenas parte delas. Provavelmente, no caso do Google, não há problemas devido a acordos previamente alcançados, segundo os quais o gigante das buscas pagará ao Reddit US$ 60 milhões por ano por usar o conteúdo do site para treinar seus próprios algoritmos de IA.

Ao mesmo tempo, o Reddit negou informações de que o acordo com o Google de alguma forma influenciou a permissão dos desenvolvedores para usar o conteúdo da plataforma para treinar redes neurais. “Isso não tem nenhuma relação com nossa recente parceria com o Google. Negociamos com vários motores de busca. Não conseguimos chegar a um acordo com todos porque alguns não conseguem ou não querem fazer qualquer promessa em relação ao uso do conteúdo do Reddit, inclusive para treinar inteligência artificial”, comentou um representante do Reddit sobre o assunto.

Para um site tão grande como o Reddit, bloquear os principais webbots dos mecanismos de pesquisa é uma jogada ousada, mas esperada. No último ano, a administração do site tornou-se muito mais ativa na proteção do conteúdo publicado pelos usuários, tentando abrir uma nova fonte de receitas e atrair investidores. Os desenvolvedores aumentaram o custo de uso da API Reddit por desenvolvedores terceirizados e também ameaçaram o Google com o bloqueio do mecanismo de busca caso a empresa não parasse de usar o conteúdo da plataforma gratuitamente para treinar suas redes neurais.