Andrea Vallone, pesquisadora líder em segurança de IA, deixou a OpenAI e se juntou à sua concorrente, a Anthropic. Na OpenAI, Vallone passou três anos liderando pesquisas sobre a questão crítica e atualmente pouco regulamentada de como os modelos de IA devem responder quando os usuários demonstram sinais de dependência emocional excessiva ou indícios precoces de doenças mentais em suas interações.
Fonte da imagem: Anthropic
Segundo o The Verge, Vallone se juntará à equipe de Alinhamento da Anthropic. Sua mudança ocorre em um momento de crescente atenção aos riscos éticos e sociais associados à IA generativa. No último ano, diversas startups líderes enfrentaram críticas significativas e processos judiciais após incidentes trágicos em que usuários com problemas de saúde mental agravaram seu sofrimento durante conversas com chatbots. Por exemplo, houve casos amplamente divulgados de adolescentes que cometeram suicídio e adultos que cometeram assassinato após interagirem com IA. Essa questão já foi discutida em uma audiência de subcomissão do Senado dos EUA, e as famílias das vítimas entraram com ações judiciais.
Durante seus três anos em seu cargo anterior, ela formou uma equipe para estudar políticas de comportamento de IA e participou da implementação do GPT-4, modelos de raciocínio e GPT-5, além de desenvolver processos de treinamento para métodos de segurança técnica essenciais. Na Anthropic, Vallone trabalhará sob a supervisão de Jan Leike, que deixou a OpenAI em maio de 2024, afirmando que os “processos de segurança da empresa deram lugar a produtos chamativos”.
Em sua publicação no LinkedIn, Vallone escreveu que está “ansiosa para continuar minha pesquisa na Anthropic, focando no aprimoramento do comportamento de Claude em novos contextos”. Enquanto isso, Sam Bowman, um dos líderes da equipe de Alinhamento da Anthropic, escreveu em uma publicação no LinkedIn que está “orgulhoso da seriedade com que a Anthropic está encarando o problema de definir como um sistema de IA deve se comportar”.