A Anthropic pagará até US$ 15.000 a hackers que encontrarem vulnerabilidades em seus sistemas de IA

A Anthropic anunciou o lançamento de um programa expandido de caça a vulnerabilidades, oferecendo a especialistas terceirizados em segurança cibernética até US$ 15.000 em recompensas pela identificação de problemas críticos em seus sistemas de inteligência artificial.

Fonte da imagem: Copiloto

A iniciativa visa encontrar “técnicas de evasão universais”, isto é, técnicas de hacking que possam contornar consistentemente as medidas de segurança da IA ​​em áreas de alto risco, como ameaças químicas, biológicas, radiológicas e nucleares, bem como no domínio cibernético. De acordo com a VentureBeat, a Anthropic convidará hackers éticos para testar seu sistema antes de seu lançamento público, para evitar imediatamente possíveis explorações que possam levar ao abuso de seus sistemas de IA.

Curiosamente, esta abordagem difere das estratégias de outros grandes intervenientes no campo da IA. Por exemplo, OpenAI e Google têm programas de recompensas, mas concentram-se mais em vulnerabilidades de software tradicionais do que em explorações específicas da indústria de IA. Além disso, a Meta✴ foi recentemente criticada por sua posição relativamente velada em relação à pesquisa de segurança de IA. Pelo contrário, o foco claro da Anthropic na abertura estabelece um novo padrão de transparência nesta questão.

No entanto, a eficácia dos programas de verificação de vulnerabilidades na abordagem de toda a gama de problemas de segurança da IA ​​permanece controversa. Os especialistas observam que poderá ser necessária uma abordagem mais abrangente, incluindo testes extensivos, melhor interpretabilidade e talvez novas estruturas de governação necessárias para garantir que os sistemas de IA se alinham globalmente com os valores humanos.

O programa começa como uma iniciativa apenas para convidados (testes fechados) em parceria com a renomada plataforma HackerOne, mas no futuro a Anthropic planeja expandir o programa, tornando-o aberto e criando um modelo independente separado para colaboração da indústria em segurança de IA.