A Cloudflare declarou guerra aos bots de IA – eles agora serão bloqueados por padrão.

A Cloudflare anunciou planos para bloquear automaticamente bots web de propósito misto que indexam sites para mecanismos de busca e também atuam como agentes de IA, sendo usados ​​para treinar modelos de inteligência artificial. Anteriormente, a empresa oferecia aos clientes a opção de definir essa política por conta própria; agora, a postura padrão será defensiva.

Fonte da imagem: Igor Omilaev / unsplash.com

“Agora que a maior parte do tráfego da internet não é gerada por humanos, precisamos ir além e agir mais rapidamente para fomentar um ecossistema sustentável. As novas ferramentas e parcerias da Cloudflare oferecem aos proprietários de sites maior visibilidade e oportunidades comerciais, além de beneficiar empresas de IA que utilizam bots com intenções claras e transparentes. Esperamos que as mudanças que propomos incentivem os bots de uso misto a separar, por padrão, as funções de busca, agente e treinamento”, explicou o CEO Matthew Prince.

As métricas de tráfego web, de forma geral, anteriormente refletiam pessoas visualizando anúncios ou pagando por assinaturas, mas o surgimento de modelos de IA capazes de visitar sites em nome dos usuários para obter informações relevantes revolucionou esse sistema. A Cloudflare está trabalhando para restaurar um equilíbrio justo tanto para os desenvolvedores de IA quanto para os proprietários de sites.

A partir de 15 de setembro, todos os novos clientes da Cloudflare e todos os novos sites de clientes existentes terão como padrão “permitir buscas, mas bloquear o treinamento e o uso de agentes em páginas com anúncios”. Os rastreadores de uso misto, que não oferecem aos proprietários de sites a opção de escolher se seus recursos serão usados ​​para IA, serão bloqueados por padrão em páginas com anúncios. Usuários com contas gratuitas também passarão a usar essa configuração padrão, a menos que optem por desativá-la até o prazo de 15 de setembro.

A Cloudflare também está lançando um recurso de “Pagamento por Uso”, que permitirá aos proprietários de sites…Receba pagamentos sempre que seu conteúdo aparecer nas respostas do chatbot de IA. Até o momento, a empresa firmou parcerias com a Ceramic.AI e a You.com, mas espera que outros desenvolvedores se juntem à iniciativa.

O mecanismo padrão de bloqueio de bots de uso misto também atinge indiretamente o Google. “O maior mecanismo de busca do mundo tem acesso ao dobro de dados que os principais desenvolvedores de IA, porque dificulta que seus clientes permaneçam pesquisáveis ​​sem serem usados ​​para IA”, observou a Cloudflare. O Googlebot, principal rastreador da web do Google, indexa sites para os mecanismos de busca da empresa, coleta dados para treinar o Gemini e alimenta recursos como o mecanismo de busca “Modo IA” e as “Avaliações com IA” nos resultados de pesquisa. Há também outro rastreador da web, o Google Extended, usado exclusivamente para resultados de pesquisa tradicionais. Se o proprietário de um site quiser que seu recurso seja incluído na busca por IA, mas não quiser usar seu conteúdo para treinar a IA do Google, ele não tem essa opção. A nova política da Cloudflare é uma tentativa de forçar o Google e outras empresas que usam rastreadores de uso misto a mudarem suas táticas.