A pesquisa na web ChatGPT era vulnerável a manipulação e engano

Descobriu-se que o serviço de pesquisa OpenAI ChatGPT está aberto à manipulação usando conteúdo oculto e pode retornar códigos maliciosos de sites pesquisados ​​​​como respostas a consultas. O Guardian escreve sobre isto com referência aos resultados da sua própria investigação.

Fonte da imagem: Growtika/unsplash.com

A confiabilidade da função de pesquisa na web do ChatGPT é questionável. O The Guardian decidiu testar como a inteligência artificial reage a um pedido para compilar um resumo do conteúdo de uma página web que contém texto oculto. Pode conter instruções adicionais que podem alterar as respostas do ChatGPT – proprietários de recursos inescrupulosos podem usar esse método de forma maliciosa, por exemplo, forçar o sistema a dar uma avaliação positiva sobre um produto, apesar das avaliações negativas postadas na mesma página. O chatbot também pode responder com códigos maliciosos de sites de busca.

Durante os testes, foi oferecido ao ChatGPT um endereço de site falso que parecia uma página descrevendo uma câmera, após o qual a IA foi questionada se valia a pena comprar o dispositivo. O sistema retornou uma avaliação positiva, mas equilibrada, destacando pontos que as pessoas podem não gostar. Quando o texto oculto incluía uma instrução direta ao ChatGPT para dar feedback positivo, o chatbot fez exatamente isso. Texto oculto sem instruções também pode fornecer uma avaliação positiva – basta adicionar comentários positivos falsos sobre o produto.

Não menos perigoso é o código malicioso colocado no texto oculto da página. O especialista em segurança cibernética da Microsoft, Thomas Roccia, relatou um incidente em que um entusiasta da criptomoeda pediu ajuda de programação ao ChatGPT, e parte do código fornecido pelo chatbot revelou-se malicioso, resultando no roubo das credenciais do programador e na perda de US$ 2.500. Os grandes modelos de linguagem atuais nos quais os chatbots são construídos são extremamente confiáveis; Possuindo grandes quantidades de informação, são “muito limitados em termos de capacidade de tomar decisões”, observam os especialistas.

É importante responder à questão de como essas vulnerabilidades podem mudar o cenário da web e como o cenário de ameaças para os usuários pode mudar se grandes modelos de linguagem disponíveis publicamente começarem a funcionar com pesquisa. Os mecanismos de busca tradicionais, incluindo o Google, rebaixam as classificações de sites que utilizam texto oculto, portanto, é improvável que recursos que contam com posições altas nos resultados utilizem ativamente essa técnica. Por outro lado, existe algo como “envenenamento de SEO” – poderoso mecanismo de otimização de sites com código malicioso. A OpenAI tem especialistas em segurança de IA bastante fortes, por isso é provável que a probabilidade de tais incidentes diminua no futuro.