O robô de busca OpenAI agora pode ser banido do seu site

A OpenAI informou que os administradores do site agora podem proibir propositalmente, parcial ou completamente, que seu robô de pesquisa GPTBot visite seus recursos, especificando as diretivas apropriadas no arquivo de serviço robots.txt.

Fonte da imagem: Mariia Shalabaieva / unsplash.com

«As páginas da Web rastreadas pelo agente de usuário GPTBot [robô com valor de string] têm potencial para serem usadas para melhorar modelos futuros e são filtradas para remover fontes que exigem acesso pago, são conhecidas por coletar informações de identificação pessoal ou contêm texto que viola nossas políticas .” , diz a seção de ajuda no site da OpenAI. Para fontes que não atendem aos critérios de exclusão, “disponibilizar seu site para o GPTBot pode ajudar os modelos a se tornarem mais precisos e melhorar seus recursos e segurança gerais”.

Na prática, bloquear o acesso do GPTBot a sites é um passo importante que ajudará os internautas a se recusarem a incluir seus dados pessoais em matrizes de informações para treinamento de grandes modelos de linguagem. No ano passado, a plataforma DeviantArt introduziu a tag NoAI – os trabalhos com essa tag são excluídos da matriz de dados de treinamento do ChatGPT.

O treinamento de IA costuma ser feito com grandes quantidades de dados coletados na Internet, e os desenvolvedores de redes neurais ainda não divulgaram que tipo de informação é usada para isso – nem está claro se as redes sociais estão incluídas na lista de recursos. Enquanto isso, as administrações do Reddit e do Twitter se opuseram diretamente à inclusão de seus dados em matrizes para treinamento de IA – eles tiveram que tornar o acesso à API pago.