A Cloudflare acusou a startup Perplexity de extrair dados em massa de sites que proíbem explicitamente a coleta de dados. De acordo com uma pesquisa da Cloudflare publicada em 4 de agosto, os bots da Perplexity ignoraram as restrições técnicas definidas no arquivo robots.txt e continuaram a extrair e copiar conteúdo de dezenas de milhares de domínios, gerando milhões de solicitações diariamente.
Fonte da imagem: Stefan Stefancík/Unsplash
De acordo com a Cloudflare, a Perplexity estava alterando o campo User-Agent de seus bots e usando diferentes sistemas autônomos (ASNs) para evitar bloqueios, inclusive imitando o Google Chrome no macOS. Segundo o TechCrunch, a Cloudflare descobriu essa atividade após clientes reclamarem que já haviam implementado regras robots.txt e bloqueios adicionais para bots Perplexity conhecidos. Como resultado, a Cloudflare usou uma combinação de aprendizado de máquina e sinais de rede para remover os bots Perplexity de sua lista oficial de rastreadores confiáveis e implementar mecanismos adicionais para bloqueá-los.
O porta-voz da Perplexity, Jesse Dwyer, classificou a publicação da Cloudflare como uma ação de marketing, afirmando que as capturas de tela fornecidas não comprovavam o acesso ao conteúdo. Em um e-mail de acompanhamento, ele acrescentou que o bot mencionado na reportagem não pertencia à empresa. No entanto, a Cloudflare insiste que seus dados são precisos.
A Cloudflare já criticou a coleta agressiva de dados por empresas de IA, com o CEO da Cloudflare, Matthew Prince, argumentando repetidamente que a coleta em massa de dados está minando a economia da internet, especialmente para os veículos de notícias. Em resposta, a empresa lançou uma ferramenta gratuita de proteção contra cópia de conteúdo para treinar modelos. Também na esteira disso, a Cloudflare, conforme prometido em setembro de 2024, lançou uma plataforma de negociação que permite que proprietários de sites cobrem dos desenvolvedores de IA pelo acesso aos dados.
Esta não é a primeira vez que a Perplexity é acusada de plagiar seu trabalho. No ano passado, veículos como a Wired acusaram a startup de reproduzir seu material sem a devida atribuição. E no Disrupt 2024, o CEO da Perplexity, Aravind Srinivas, teve dificuldade para definir plágio quando questionado sobre o assunto por Devin Coldewey, do TechCrunch.
\nMais de uma semana se passou desde o lançamento do jogo de ação pirata em…
O FBI prendeu Zyaire Dontaevious Zamarion Wilkins, de 21 anos, na Flórida, e o acusou…
\nNos últimos três meses, a TSMC fez progressos significativos no desenvolvimento da tecnologia de processo…
\nUm ex-engenheiro da desenvolvedora e fabricante europeia de sistemas de mísseis MBDA, Alex Toussaint, desenvolveu…
\nNa mensagem de hoje aos fãs, a Bethesda Game Studios anunciou não apenas novos jogos…
\nOs desenvolvedores da Bethesda Game Studios, em uma mensagem surpresa aos jogadores, falaram sobre projetos…