Os sites tradicionais estão perdendo audiências em massa para chatbots e agentes de IA

As empresas de inteligência artificial prometeram aos proprietários de sites que os mecanismos de busca de última geração lhes trariam um fluxo de visitantes por meio do tráfego de referência. Um novo relatório da plataforma de licenciamento de conteúdo TollBit mostrou que esse não é realmente o caso.

Fonte da imagem: Dima Solomin / unsplash.com

A OpenAI e a Perplexity já fizeram afirmações ousadas de que seus mecanismos de busca com tecnologia de IA que vasculham a web trarão mais visitantes e novas fontes de receita aos proprietários de sites. Na verdade, os mecanismos de busca de IA enviam 96% menos tráfego de referência para sites de notícias e blogs do que a pesquisa tradicional do Google, de acordo com um relatório que a TollBit compartilhou com a Forbes. Ao mesmo tempo, nos últimos meses, o volume de informações coletadas pela IA em sites mais que dobrou. OpenAI, Perplexity, Meta✴ e outras empresas de IA rastrearam sites quase 2 milhões de vezes no quarto trimestre de 2024, com base em dados de 160 sites, incluindo veículos de notícias nacionais e locais, sites de tecnologia de consumo e blogs de compras. Cada página deles foi digitalizada uma média de sete vezes.

A TollBit oferece aos sites a capacidade de detectar varreduras de IA – cada vez que isso acontece, a empresa cobra uma taxa dos desenvolvedores das plataformas de IA em benefício dos recursos registrados em sua plataforma de análise. Isso dá à TollBit uma visão do tráfego e da atividade do mecanismo de varredura. OpenAI, Meta✴ e Perplexity não comentaram os dados apresentados no relatório, mas a Perplexity observou que seu sistema segue diretrizes em arquivos robots.txt, que indicam quais seções dos sites têm acesso permitido.

Em fevereiro, analistas da Gartner publicaram uma previsão de que, até 2026, o tráfego de mecanismos de busca tradicionais cairá 25% devido aos chatbots e agentes de IA. O processo já começou: recentemente, a empresa de tecnologia educacional Chegg decidiu processar o Google pelos resumos de dados que aparecem nos resultados de pesquisa; No segundo trimestre do ano passado, quando eles estavam apenas começando a aparecer, o tráfego do Chegg caiu 8%, e em janeiro deste ano já havia caído 49%. Segundo a autora, os resumos de busca da IA ​​incluíam materiais do site Chegg sem indicar a fonte. A queda no tráfego impactou a Chegg a tal ponto que a empresa agora está considerando fechar o capital ou vender seus ativos por completo. O Google chamou o processo do Chegg de “infundado” e disse que ele aumentou a diversidade de sites em seus resultados de pesquisa.

Fonte da imagem: BoliviaInteligente / unsplash.com

A situação é complicada pelo fato de que, ao escanear recursos e coletar dados, os desenvolvedores de IA especificam valores imprecisos para a sequência “Agente do usuário” em seus sistemas, e isso não permite que os proprietários do site identifiquem os scanners e formem uma compreensão de como as empresas de IA usam o acesso aos materiais de recursos. O Google, de acordo com uma versão, usa os mesmos bots para propósitos diferentes: eles indexam sites e coletam dados deles para IA. O Perplexity, que afirma respeitar as diretivas robots.txt, é ainda mais imprevisível: mesmo quando um recurso bloqueia o acesso por meio de seu servidor web, o rastreamento provavelmente não para porque o tráfego de referência continua fluindo. Um dos recursos, de acordo com números oficiais, foi escaneado 500 vezes, e depois recebeu 10.000 visitantes do Perplexity. Isso só pode ser explicado pelo trabalho de um robô de digitalização não identificado.

No ano passado, o Perplexity foi pego copiando e citando quase literalmente material de veículos de notícias pagos populares, incluindo Forbes, CNBC e Bloomberg, sem atribuir a fonte. O serviço da empresa também frequentemente continha links para blogs de baixa qualidade gerados por IA e postagens em mídias sociais contendo informações imprecisas. O New York Post e a Dow Jones processaram a Perplexity, acusando a empresa de violação de direitos autorais. A varredura descontrolada de materiais de sites também faz com que seus proprietários incorram em custos crescentes com recursos de servidor. A OpenAI e a Perplexity lançaram agentes de IA que podem pesquisar informações relevantes em sites de forma independente e compilar relatórios detalhados, o que certamente piorará o problema.

Uma maneira óbvia de resolver o conflito é licenciar diretamente os materiais. A Associated Press, a Axel Springer e o Financial Times firmaram acordos correspondentes com a OpenAI. Também surgiram novas empresas que cobram dos proprietários de sistemas de IA toda vez que eles copiam material de sites — um modelo usado pela TollBit, que preparou o relatório.