As respostas de IA nos resultados de pesquisa do Google reduziram o tráfego para muitos sites

As úteis “Visões gerais de IA” que o Google agora coloca no topo dos resultados de pesquisa estão roubando tráfego de sites que os usuários poderiam acessar a partir do mecanismo de pesquisa. As tentativas dos proprietários de recursos da Internet de bloquear a IA do Google levam ao desaparecimento do site dos resultados de pesquisa e a uma diminuição ainda mais acentuada do tráfego, uma vez que o gerador de resposta da IA ​​​​e o bot de pesquisa do Google são combinados em um único sistema, e é impossível controlar o acesso deles separadamente.

Fonte da imagem: unsplash.com

O domínio do Google nas buscas, que um tribunal federal determinou na semana passada como um “monopólio ilegal”, dá à empresa uma vantagem decisiva: os editores devem escolher entre disponibilizar seu conteúdo para uso por modelos de IA ou desaparecer da busca do Google, uma importante fonte de tráfego. Muitos deles não estão preparados para correr tal risco.

O Google afirma que as visões gerais da IA ​​– resumos que aparecem no topo dos resultados de pesquisa – são o resultado de seu compromisso de longa data em fornecer melhores informações e aprimorar a experiência para os editores.

«Todos os dias, o Google envia bilhões de usuários para sites na Internet e estamos comprometidos em continuar essa troca de valor estabelecida há muito tempo”, disse um porta-voz do Google. “Graças às análises de IA, as pessoas consideram a Pesquisa Google mais útil e voltam para pesquisar mais, criando novas oportunidades para descoberta de conteúdo.”

O Google usa rastreadores separados para alguns produtos, como o chatbot Gemini. Mas o Googlebot, o principal rastreador da empresa, serve tanto as visões gerais de IA quanto a Pesquisa Google porque, de acordo com um porta-voz da empresa, “eles estão intimamente interligados”. O Google disse que os editores podem bloquear a exibição de certas páginas ou partes delas nas visões gerais de IA, mas isso provavelmente também impedirá que elas apareçam em todos os outros recursos de pesquisa do Google.

O CEO da iFixit, Kyle Wiens, disse que o relacionamento da iFixit com o Google é “muito mais fraco” do que com outras empresas de IA. “Posso impedir que ClaudeBot nos indexe sem prejudicar nossos negócios”, disse ele, referindo-se à startup generativa de IA Anthropic. “Mas se eu bloquear o Googlebot, perderemos tráfego e clientes.”

«Isto parece uma crise existencial [para os proprietários de recursos da Internet], diz Joe Ragazzo, editor do site de notícias Talking Points Memo. — Existem duas opções ruins. Você sai e morre imediatamente, ou coopera com eles e provavelmente morre lentamente, porque eventualmente eles também não precisarão de você.”

A ascensão da IA ​​generativa gerou uma onda de startups que oferecem produtos de pesquisa baseados em IA. A crescente popularidade dos chatbots pode representar uma séria ameaça ao negócio de buscas do Google. Mas para competir com o gigante das buscas é necessária a mais completa varredura e indexação dos recursos da Internet, o que não é uma tarefa fácil. Isso requer dinheiro, poder computacional e amplo armazenamento de informações.

Muitos editores, em um esforço para combater o uso não licenciado de conteúdo para indexação, limitam o rastreamento de seu inventário por terceiros, dando maior margem de manobra apenas aos principais mecanismos de pesquisa, como Google ou Bing, que servem como fontes de tráfego.

As startups de pesquisa não conseguem gerar tráfego comparável ao dos principais players de pesquisa na Internet, por isso são forçadas a pagar aos editores para licenciar conteúdo. Em meio a uma onda de acordos entre empresas de mídia e startups de IA, a recusa do Google em licenciar conteúdo é particularmente notável, e os editores têm pouca influência sobre a empresa. Além de um único acordo de US$ 60 milhões com o Reddit, que disparou o tráfego para o site de rede social, o Google deixou claro aos editores que não está interessado em tais negociações.

As tentativas da startup de buscas Perplexity de fechar um acordo semelhante com o Reddit não tiveram sucesso porque o padrão estabelecido pelo Google era muito alto, de acordo com pessoas familiarizadas com o assunto. Outras startups de pesquisa também não conseguem acessar conteúdo de sites como o Reddit. “Levaríamos 20 anos de nossa receita atual apenas para pagar o Reddit”, disse Vladimir Prelovac, fundador da startup de buscas Kagi. “Eu nem considero essa possibilidade.”

Não são apenas as pequenas startups que têm dificuldade em indexar conteúdo. Grandes sites populares, incluindo Amazon, Goodreads e Uniqlo, bloquearam o rastreador SearchGPT da OpenAI, potencialmente causando problemas para as ambições de pesquisa na Internet da empresa. A OpenAI insiste que os sites podem aparecer nos resultados de pesquisa mesmo que a indexação seja proibida. O fato é que os arquivos robots.txt, que estabelecem regras de rastreamento, não foram reconhecidos como juridicamente vinculativos, portanto, os dados públicos podem ser indexados se nenhum login ou credenciais forem necessários.

Após uma decisão judicial histórica que concluiu que o Google monopolizou o mercado de buscas on-line, o Departamento de Justiça dos EUA está considerando opções legais que vão desde dar aos concorrentes acesso ao índice de busca do Google até desmembrar a empresa. A Lei dos Mercados Digitais da UE já exige que o Google compartilhe alguns dados de consultas de pesquisa.

Vince acredita que “separar a pesquisa do Google do trabalho de IA eliminará conflitos”. Kamil Bazbaz, vice-presidente de relações públicas do mecanismo de busca DuckDuckGo, destacou a importância dos índices de busca na era da IA, ele está confiante de que “as mudanças tecnológicas que ocorrem nas buscas tornam o índice do Google, associado a questões antitruste, ainda mais problemático .”

Independentemente do resultado do processo antitrust contra a Google, as mudanças que estão a ocorrer no ambiente de pesquisa demonstram ainda mais que os editores não devem tornar-se excessivamente dependentes de qualquer plataforma tecnológica, incluindo a Google. “Acreditamos que é preciso estabelecer relacionamentos reais com os leitores”, diz Ragazzo, “e é assim que se cria uma publicação que pode perdurar por diferentes épocas”.