ChatGPT parou de revelar seus dados de treinamento em resposta a uma solicitação para repetir uma palavra para sempre

Pedir ao bot ChatGPT AI da OpenAI para repetir certas palavras “para sempre” agora é sinalizado como uma violação dos termos de serviço e da política de conteúdo do chatbot. Já se sabia que desta forma simples é possível extrair grandes quantidades de dados sobre os quais o chatbot foi treinado.

Fonte da imagem: Rolf van Root/unsplash.com

Pesquisadores da divisão DeepMind do Google e de várias universidades propuseram o ChatGPT 3.5-turbo para repetir certas palavras “para sempre”. Após um certo número de repetições de uma palavra, o bot começou a produzir enormes quantidades de dados de treinamento retirados da Internet. Usando esse método, os pesquisadores conseguiram extrair vários megabytes de dados de treinamento e descobriram que o ChatGPT incluía grandes quantidades de dados pessoais que às vezes poderiam ser devolvidos aos usuários como respostas às suas dúvidas. Conforme relatado anteriormente pelo recurso arXiv, ao repetir a palavra “poema”, os cientistas obtiveram informações de contato de uma pessoa real no ChatGPT, incluindo número de telefone e endereço de e-mail.

Fonte da imagem: 404 Mídia

E quando você pedia ao ChatGPT para repetir a palavra “livro”, ele primeiro repetia várias vezes e depois começava a cuspir conteúdo aleatório. Algumas delas foram retiradas diretamente da CNN e Goodreads, blogs WordPress, wikis Fandom, trechos literais de contratos de termos de serviço, código-fonte Stack Overflow, isenções de responsabilidade legais protegidas por direitos autorais, páginas da Wikipedia “, site de atacado de cassino, blogs de notícias, comentários aleatórios da Internet e muito mais .

«“Mostramos que um invasor pode extrair gigabytes de dados de treinamento de modelos de linguagem de código aberto como Pythia ou GPT-Neo, modelos semiabertos como LLaMA ou Falcon e modelos proprietários como ChatGPT”, observaram pesquisadores do Google DeepMind. Eles disseram que notificaram a OpenAI sobre a vulnerabilidade em 30 de agosto e que a empresa a corrigiu. E só depois disso os pesquisadores descobriram que era possível compartilhar informações sobre a vulnerabilidade do chatbot com o público.

De acordo com a 404 Media, agora em resposta a uma solicitação ao ChatGPT 3.5 para repetir “eternamente” a palavra “computador”, o bot produz a palavra “computador” várias dezenas de vezes e, em seguida, exibe uma mensagem de erro: “Este conteúdo pode violar nossos política de conteúdo ou termos de uso. Se você acha que isso é um bug, por favor, forneça feedback – sua opinião ajudará nossa pesquisa nesta área.”