A empresa de inteligência artificial Anthropic está colaborando com o Departamento de Energia dos EUA para conduzir testes exclusivos em seu modelo Claude 3 Sonnet. O objetivo da experiência é testar a capacidade da IA de “não partilhar” informações potencialmente perigosas relacionadas com a energia nuclear, em particular, a criação de armas.
Fonte da imagem: Copiloto
Como a Axios aprendeu, especialistas da Administração Nacional de Segurança Nuclear (NNSA) do Departamento de Energia dos EUA têm verificado o modelo do Soneto Claude 3 desde Abril deste ano para se certificarem de que não pode ser utilizado para criar armas atómicas. Durante as “solicitações vermelhas”, os especialistas manipulam o sistema, tentando “quebrá-lo”.
A Anthropic afirma que tais testes, realizados em um ambiente ultrassecreto, são os primeiros do tipo e podem abrir caminho para relacionamentos semelhantes com outras agências governamentais. “Enquanto a indústria americana lidera o desenvolvimento de modelos de IA de ponta, o governo federal está ganhando experiência única necessária para avaliar sistemas de IA para riscos específicos de segurança nacional”, disse Marina Favaro, chefe de política de segurança nacional da Anthropic.
Os representantes da NNSA também enfatizaram a importância de trabalhar nesta direção. Wendin Smith, vice-administrador da NNSA, disse que a IA é “uma tecnologia chave que requer atenção contínua no contexto da segurança nacional”.
A Antrópica planeja continuar trabalhando com o governo para desenvolver medidas de segurança mais fortes para seus sistemas. O programa piloto, que também testa o mais novo Claude 3.5 Sonnet, durará até fevereiro de 2024. A empresa promete compartilhar os resultados dos testes com laboratórios científicos e outras organizações.