A OpenAI revelou publicamente seu problema com os goblins, motivado por um artigo da Wired. Acontece que a desenvolvedora de IA é obrigada a instruir seus modelos a “nunca falarem sobre goblins, gremlins, guaxinins, trolls, ogros, pombos ou outros animais ou criaturas”, porque esses modelos desenvolveram esse “estranho hábito” durante o treinamento.
Fonte da imagem: Vikram Singh / unsplash.com
A empresa percebeu que a IA começou a recorrer com frequência suspeita a metáforas envolvendo goblins e outras criaturas fictícias com o lançamento do modelo GPT-5.1, especialmente quando a personalidade “Nerdy” estava ativada. Com cada versão subsequente do modelo, o problema só piorou, até que se descobriu que essas metáforas bizarras estavam sendo recompensadas durante o aprendizado por reforço.
A recompensa só era concedida quando a personalidade “Nerdy” estava ativada, mas o aprendizado por reforço não garante que os comportamentos aprendidos permanecerão atrelados às condições que os originaram. Em estágios subsequentes, esse padrão comportamental poderia ser recompensado e reforçado em outros contextos, especialmente se esses resultados fossem reutilizados em ajustes supervisionados ou dados de preferências, explicou o desenvolvedor.
As menções a goblins e gremlins praticamente desapareceram em março, quando a OpenAI abandonou o modelo “Botanist”, mas ressurgiram no serviço de programação Codex com o modelo GPT-5.5 — cujo treinamento havia começado antes de a empresa descobrir a causa raiz. Portanto, foi necessário fornecer instruções adicionais ao Codex para que ele não mencionasse criaturas mitológicas. No entanto, para aqueles que preferem esse comportamento, a OpenAI disponibilizou um código para ignorar essas instruções.