É possível clonar o Gemini inundando-o com consultas? O Google descobriu um poderoso ataque de destilação.

A prática de copiar ilegalmente produtos de sucesso existe desde o surgimento das primeiras ferramentas e tecnologias, mas os chatbots com inteligência artificial são um caso especial. Os concorrentes não conseguem decifrá-los, mas podem fazer uma enorme quantidade de perguntas à IA na tentativa de entender como ela funciona. De acordo com um novo relatório do Google, foi exatamente assim que alguns agentes tentaram clonar o chatbot Gemini. Em um caso, mais de 100 mil perguntas semelhantes foram enviadas ao chatbot. O Google chama isso de tentativa de extração de modelo em larga escala.

Fonte da imagem: Solen Feyissa / Unsplash

Um relatório recente do Grupo de Inteligência de Ameaças do Google descreve um aumento nos chamados ataques de destilação — consultas repetidas a um modelo de IA para aprender com suas respostas e, em seguida, usar esses dados para treinar um sistema concorrente. O Google afirma que essa atividade viola seus termos de serviço e constitui roubo de propriedade intelectual, mesmo que os invasores estejam usando acesso legítimo à API em vez de invadir diretamente os sistemas da empresa.

Um dos ataques de destilação mencionados no relatório teve como alvo específico a lógica do Gemini. Embora o Gemini normalmente não divulgue toda a sua “cadeia de raciocínio” interna, o Google afirma que os invasores tentaram enganá-lo para que revelasse detalhes de seu raciocínio lógico. A empresa afirma que seus sistemas detectaram essa atividade em tempo real e ajustaram suas defesas para impedir que os processos internos do chatbot fossem revelados.

Embora o Google tenha se recusado a nomear os suspeitos, afirma que a maioria das tentativas de exfiltração de dados se originou de empresas privadas e pesquisadores em busca de vantagem competitiva. John Hultquist, analista principal do Grupo de Inteligência de Ameaças do Google, disse à NBC News que, com o crescente número de empresas que desenvolvem seus próprios sistemas de IA com base em dados confidenciais, essas tentativas de clonagem podem se tornar mais comuns no setor.

O Google também descreve outras formas de uso indevido do Gemini em seu relatório. Por exemplo, invasores têm experimentado campanhas de phishing com IA e até mesmo…O malware acessa a API Gemini para gerar código dinamicamente. A empresa acrescenta que, em todos os casos, as contas associadas foram bloqueadas e as medidas de segurança foram atualizadas para limitar novos abusos.