A Anthropic pediu desculpas por impor restrições ocultas ao seu modelo de inteligência artificial Claude Fable 5, o que dificultou o trabalho de pesquisadores e concorrentes que desenvolviam seus próprios sistemas. A empresa prometeu mudar de rumo e ser mais transparente sobre essas restrições, mesmo que Fable rejeite mais solicitações.
Fonte da imagem: anthropic.com
Claude Fable 5 foi o primeiro modelo de IA da classe Mythos que a Anthropic considerou perigoso demais para ser lançado publicamente. A desenvolvedora afirmou ter mitigado algumas dessas ameaças desativando o modelo para que não respondesse a consultas sobre determinados tópicos de “alto risco”. Isso também foi feito para proteger contra a destilação — um método de treinamento de modelos de IA menores com base nas respostas de modelos maiores. Ao detectar tentativas de destilação, a Anthropic observou que o modelo anteriormente produzia respostas de qualidade inferior intencionalmente. Os usuários não tinham conhecimento de que a proteção estava sendo acionada ou da qualidade inferior das respostas.
Agora, a empresa decidiu mudar sua abordagem: quando tentativas de destilação forem detectadas, as respostas serão redirecionadas para o Claude Opus 4.8 — o modelo principal anterior da empresa — e os usuários receberão uma notificação correspondente a cada ocorrência. Uma abordagem semelhante se aplica a respostas a perguntas em áreas de alto risco, como biologia, química e segurança cibernética. Se as solicitações relevantes não forem completamente bloqueadas, elas serão encaminhadas para o Opus 4.8.
“As métricas visíveis podem ser verificadas, portanto precisam ser robustas, e sua configuração correta demanda tempo. As métricas invisíveis podem ser mais direcionadas, permitindo-nos lançar o produto rapidamente com pouquíssimos falsos positivos. Por esse motivo, optamos por métricas invisíveis — e essa escolha foi equivocada. É importante que vocês conheçam as métricas que utilizamos e os motivos por trás delas. Pedimos desculpas por não termos encontrado o equilíbrio ideal”, declarou a Anthropic.