No ano passado, o Google lançou um recurso de avaliação com inteligência artificial em seu mecanismo de busca. Um experimento inicialmente malsucedido demonstrou o quão diferentes os resultados desse serviço são dos resultados de busca tradicionais baseados em links que os mecanismos de busca exibem há décadas. Pesquisadores descobriram que os mecanismos de busca com inteligência artificial geralmente têm maior probabilidade de direcionar para sites e recursos menos populares que, de outra forma, não apareceriam entre os 100 primeiros resultados orgânicos do Google.
Fonte da imagem: sarah b / unsplash.com
Cientistas alemães compararam os resultados de busca tradicionais do Google com o recurso “Avaliações de IA” e as respostas do chatbot Gemini-2.5-Flash. Eles utilizaram o mecanismo de busca GPT-4o da OpenAI e um modo adicional do modelo GPT-4o, que usa a busca na web apenas quando necessário, caso o modelo não encontre uma resposta em sua própria base de conhecimento, como fontes adicionais. Os cientistas compilaram um conjunto de consultas de teste de três fontes: WildChat — consultas enviadas por usuários ao ChatGPT; AllSides — consultas sobre tópicos políticos; e consultas relacionadas aos 100 produtos mais populares da Amazon.
De modo geral, os mecanismos de busca generativos baseados em IA citaram com mais frequência recursos que normalmente não aparecem entre os 10 primeiros resultados de busca tradicionais, de acordo com as estatísticas de classificação da Tranco. As fontes citadas por IA tiveram menos probabilidade do que os resultados de busca tradicionais do Google de aparecer entre os 1.000 primeiros, ou mesmo entre os 1.000.000 primeiros, nos rankings da Tranco. As preferências da Gemini incluíam muitos sites impopulares: em todos os resultados, a fonte mediana de chatbots não apareceu entre as 1.000 melhores da Tranco. As fontes citadas por mecanismos de busca com inteligência artificial geralmente não apareceram nem perto do topo dos resultados de busca do Google: 53% das fontes das “avaliações de IA” do Google não entraram no top 100, e 40% não entraram no top 100 dos resultados de busca tradicionais.
Fonte da imagem: BoliviaInteligente / unsplash.com
A diferença na qualidade das fontes foi significativa: os sistemas de IA consultaram com mais frequência recursos corporativos e enciclopédias, mas quase nunca fizeram referência às mídias sociais. A análise das respostas, realizada por um modelo de linguagem de grande escala, mostrou que a IA abrangia o mesmo número de conceitos identificáveis que os dez principais recursos nos resultados de busca tradicionais — os resultados eram igualmente detalhados, diversos e relevantes. Por outro lado, a IA tendia a comprimir informações, ou seja, a omitir aspectos secundários e ambíguos que são mantidos na busca tradicional.
Uma vantagem significativa dos mecanismos de busca baseados em IA era sua capacidade de combinar informações de uma base de conhecimento pré-treinada com dados de sites citados. O modelo GPT-4o, por exemplo, muitas vezes evitava completamente fontes externas, limitando-se ao seu próprio conhecimento — o que também se revelou sua fraqueza: às vezes, ele solicitava detalhes ao usuário em vez de realizar a busca na web de forma independente. Os pesquisadores não tiraram conclusões sobre o desempenho dos mecanismos de busca de IA, mas defenderam novos métodos para avaliar seu desempenho, levando em consideração a diversidade, o escopo dos conceitos e a capacidade dos modelos de integrar seu próprio conhecimento com dados de fontes externas.