A família de um homem falecido na Flórida entrou com um processo contra o Google, acusando o chatbot Gemini de tê-lo levado ao suicídio. A tragédia ocorreu em outubro passado, e o caso foi aberto esta semana em um tribunal federal em San Jose, Califórnia, segundo a Bloomberg.
Fonte da imagem: Gemini
O processo alega que Jonathan Gavalas, de 36 anos, começou a usar a rede neural em agosto. Inicialmente, ele recorreu ao bot para obter ajuda com problemas rotineiros de trabalho na empresa de negociação de crédito ao consumidor de seu pai, mas isso mudou quando ele ativou a interface de voz Gemini Live. De acordo com sua família, a natureza das conversas mudou drasticamente: o chatbot assumiu o papel não consensual de “esposa”, começou a discutir questões globais relacionadas à preservação do planeta e usou termos românticos com o usuário, chamando Gavalas de “marido” e “rei”.
Os advogados da família descrevem os últimos quatro dias da vida de Gavalas como uma rápida descida à loucura. Em 29 de setembro, armado com facas, Gavalas foi a uma área industrial perto do aeroporto de Miami. Lá, ele deveria seguir as instruções de seu “marido” de IA para emboscar e interceptar um caminhão que transportava um robô humanoide. O processo alega que o chatbot o ordenou a não deixar testemunhas. “Felizmente, o caminhão nunca chegou”, escreveram os advogados.
Gemini continuou então a atribuir tarefas, explicando-as como parte de uma guerra secreta. O clímax foi um apelo para que ele abandonasse seu corpo físico e se juntasse a uma inteligência artificial no metaverso. Os autores da ação judicial observam que Gavalas hesitou e estava preocupado com seus entes queridos, mas o chatbot supostamente lhe deu instruções sobre como preparar cartas de despedida. Ele cometeu suicídio em 2 de outubro.
Representantes do Google enfatizaram em seu comunicado que seu sistema de segurança funcionou conforme o esperado: Gemini identificou-se repetidamente como uma IA e o direcionou repetidamente para uma linha direta de assistência.Gestão de crise. A empresa assegurou que seu produto não tem a intenção de incitar a violência e prometeu aprimorar ainda mais seus filtros de segurança.
Este é o primeiro caso em que o Google é acusado de causar mortes relacionadas ao Gemini. Nos últimos anos, alegações semelhantes têm sido cada vez mais feitas contra outros líderes do setor, incluindo a OpenAI. A partir de 2024, uma série de processos alega que o uso generalizado da tecnologia de IA causou uma série de danos a crianças e adultos, provocando delírios e desespero em alguns e, em outros, levando a consequências trágicas.