É possível clonar o Gemini inundando-o com consultas? O Google descobriu um poderoso ataque de destilação.

A prática de copiar ilegalmente produtos de sucesso existe desde o surgimento das primeiras ferramentas e tecnologias, mas os chatbots com inteligência artificial são um caso especial. Os concorrentes não conseguem decifrá-los, mas podem fazer uma enorme quantidade de perguntas à IA na tentativa de entender como ela funciona. De acordo com um novo relatório do Google, foi exatamente assim que alguns agentes tentaram clonar o chatbot Gemini. Em um caso, mais de 100 mil perguntas semelhantes foram enviadas ao chatbot. O Google chama isso de tentativa de extração de modelo em larga escala.

Fonte da imagem: Solen Feyissa / Unsplash

Um relatório recente do Grupo de Inteligência de Ameaças do Google descreve um aumento nos chamados ataques de destilação — consultas repetidas a um modelo de IA para aprender com suas respostas e, em seguida, usar esses dados para treinar um sistema concorrente. O Google afirma que essa atividade viola seus termos de serviço e constitui roubo de propriedade intelectual, mesmo que os invasores estejam usando acesso legítimo à API em vez de invadir diretamente os sistemas da empresa.

Um dos ataques de destilação mencionados no relatório teve como alvo específico a lógica do Gemini. Embora o Gemini normalmente não divulgue toda a sua “cadeia de raciocínio” interna, o Google afirma que os invasores tentaram enganá-lo para que revelasse detalhes de seu raciocínio lógico. A empresa afirma que seus sistemas detectaram essa atividade em tempo real e ajustaram suas defesas para impedir que os processos internos do chatbot fossem revelados.

Embora o Google tenha se recusado a nomear os suspeitos, afirma que a maioria das tentativas de exfiltração de dados se originou de empresas privadas e pesquisadores em busca de vantagem competitiva. John Hultquist, analista principal do Grupo de Inteligência de Ameaças do Google, disse à NBC News que, com o crescente número de empresas que desenvolvem seus próprios sistemas de IA com base em dados confidenciais, essas tentativas de clonagem podem se tornar mais comuns no setor.

O Google também descreve outras formas de uso indevido do Gemini em seu relatório. Por exemplo, invasores têm experimentado campanhas de phishing com IA e até mesmo…O malware acessa a API Gemini para gerar código dinamicamente. A empresa acrescenta que, em todos os casos, as contas associadas foram bloqueadas e as medidas de segurança foram atualizadas para limitar novos abusos.

admin

Compartilhar
Publicado por
admin

Postagens recentes

Atrasos crônicos e um orçamento inflado enterraram o estágio superior do SLS da Boeing; ele será substituído pelo Centaur V.

Uma semana antes, o novo administrador da NASA, Jared Isaacman, apresentou o programa lunar atualizado…

22 minutos atrás

O jogo de estratégia à moda antiga Crown of Greed, no espírito de Majesty, fará você se sentir como um rei – novo trailer e data de lançamento no Steam.

O estúdio polonês Blum Entertainment, com o apoio da editora ConsoleWay, anunciou a data de…

2 horas atrás

O CEO da Nvidia deixou claro que a empresa não planeja mais investir na OpenAI e na Anthropic.

Até recentemente, acreditava-se que a Nvidia investiria os prometidos US$ 100 bilhões na OpenAI, mas…

2 horas atrás

A Broadcom espera gerar mais de 100 bilhões de dólares em receita com chips de IA no próximo ano.

A Broadcom pode estar sendo ofuscada pelo boom da IA, mas isso não a impediu…

3 horas atrás