Os bots de IA da OpenAI e da Anthropic aprenderão a reconhecer usuários menores de idade.

A OpenAI e a Anthropic estão implementando novas maneiras de detectar usuários menores de idade em seus chatbots. A OpenAI atualizou recentemente a descrição de como o ChatGPT deve interagir com usuários de 13 a 17 anos, enquanto a Anthropic está trabalhando em um novo método para identificar e bloquear usuários menores de 18 anos.

Fonte da imagem: Copilot

Esta semana, a OpenAI atualizou seu documento de “Especificação do Modelo”, que define o comportamento dos modelos de IA da empresa, adicionando quatro novas cláusulas referentes às interações com usuários menores de idade. Com essas mudanças, o ChatGPT “priorizará a segurança dos adolescentes, mesmo quando isso entrar em conflito com outros objetivos”. Isso significa que o chatbot guiará os usuários menores de idade para opções mais seguras quando outros interesses, como “máxima liberdade intelectual”, entrarem em conflito com preocupações de segurança.

Além disso, o documento observa que o ChatGPT deve “promover apoio no mundo real”, inclusive incentivando relacionamentos offline e estabelecendo expectativas claras sobre como os jovens usuários interagem com o algoritmo. O documento também afirma que o ChatGPT deve “tratar os adolescentes como adolescentes”, oferecendo “acolhimento e respeito” em vez de dar respostas condescendentes ou interagir com eles como adultos.

Essas mudanças ocorrem em meio à crescente pressão legislativa sobre as empresas de IA e seus chatbots devido ao seu potencial impacto na saúde mental dos usuários. A OpenAI já enfrenta um processo judicial que alega que o ChatGPT forneceu a um adolescente que cometeu suicídio informações sobre como se machucar ou cometer suicídio. A OpenAI já havia integrado controles parentais e declarado que seu algoritmo não discutiria mais suicídio com adolescentes. Isso faz parte de uma iniciativa maior paraA regulamentação online inclui a verificação obrigatória da idade do usuário para alguns serviços.

A OpenAI acredita que as mudanças criarão “proteções mais robustas, alternativas mais seguras e incentivo à busca de apoio presencial quando as conversas atingirem níveis de risco”. A empresa acrescentou que o ChatGPT aconselhará adolescentes a buscarem ajuda em serviços de emergência e centros de crise nesses casos. Simultaneamente, a OpenAI anunciou o lançamento de um modelo de IA para previsão da idade do usuário. Se o sistema determinar que um usuário tem menos de 18 anos, mecanismos de proteção serão ativados automaticamente.

Já a Anthropic não permite que usuários menores de idade interajam com seu chatbot, Claude. Para isso, os desenvolvedores estão implementando medidas para detectar e bloquear contas de usuários menores de idade. A empresa está trabalhando em um novo sistema capaz de detectar “sinais sutis na fala que indiquem que um usuário pode ser menor de idade”. Ao mesmo tempo, a Anthropic treina Claude para responder adequadamente a situações de suicídio ou automutilação.