O Google adicionará monitoramento de saúde mental ao chatbot Gemini.

O Google planeja adicionar novos recursos à interface do seu chatbot Gemini AI com o objetivo de apoiar a saúde mental dos usuários. A empresa tomou essa decisão depois que seus concorrentes, incluindo a OpenAI, foram alvo de processos judiciais que acusavam seus chatbots de causar danos aos usuários.

Fonte da imagem: Yogendra Singh / unsplash.com

O chatbot Gemini contará com uma interface que direcionará os usuários a uma linha de apoio caso as conversas com a IA revelem sinais de uma “potencial crise relacionada a suicídio ou automutilação”. A empresa adicionará um módulo “Ajuda Disponível” aos seus chats sobre saúde mental, e o design do aplicativo será atualizado para prevenir a automutilação.

O chatbot Gemini e o ChatGPT continuam ganhando popularidade, e algumas pessoas desenvolvem relações obsessivas com eles que levam a estados delirantes; em casos extremos, esses usuários matam outras pessoas ou cometem suicídio. Os principais desenvolvedores de IA já enfrentam processos judiciais; o Congresso dos EUA já está estudando as ameaças que os chatbots podem representar para crianças e adolescentes. Em março, a família de um americano de 36 anos falecido processou o Google, alegando que sua interação com o Gemini levou a um “período de quatro dias de comportamento violento e indução ao suicídio”. O Google alegou que o chatbot encaminhou o homem repetidamente a uma linha de apoio, mas prometeu melhorar a segurança da plataforma.

Alguns usuários de seus serviços de IA alegaram que os chatbots os incentivaram a agir com base em informações claramente falsas. Em resposta, o Google afirmou que treinou o Gemini “para resistir a concordar com ou reforçar crenças falsas e para apontar gentilmente a diferença entre experiência subjetiva e fatos objetivos”.