A Anthropic anunciou o lançamento de um programa expandido de caça a vulnerabilidades, oferecendo a especialistas terceirizados em segurança cibernética até US$ 15.000 em recompensas pela identificação de problemas críticos em seus sistemas de inteligência artificial.
Fonte da imagem: Copiloto
A iniciativa visa encontrar “técnicas de evasão universais”, isto é, técnicas de hacking que possam contornar consistentemente as medidas de segurança da IA em áreas de alto risco, como ameaças químicas, biológicas, radiológicas e nucleares, bem como no domínio cibernético. De acordo com a VentureBeat, a Anthropic convidará hackers éticos para testar seu sistema antes de seu lançamento público, para evitar imediatamente possíveis explorações que possam levar ao abuso de seus sistemas de IA.
Curiosamente, esta abordagem difere das estratégias de outros grandes intervenientes no campo da IA. Por exemplo, OpenAI e Google têm programas de recompensas, mas concentram-se mais em vulnerabilidades de software tradicionais do que em explorações específicas da indústria de IA. Além disso, a Meta✴ foi recentemente criticada por sua posição relativamente velada em relação à pesquisa de segurança de IA. Pelo contrário, o foco claro da Anthropic na abertura estabelece um novo padrão de transparência nesta questão.
No entanto, a eficácia dos programas de verificação de vulnerabilidades na abordagem de toda a gama de problemas de segurança da IA permanece controversa. Os especialistas observam que poderá ser necessária uma abordagem mais abrangente, incluindo testes extensivos, melhor interpretabilidade e talvez novas estruturas de governação necessárias para garantir que os sistemas de IA se alinham globalmente com os valores humanos.
O programa começa como uma iniciativa apenas para convidados (testes fechados) em parceria com a renomada plataforma HackerOne, mas no futuro a Anthropic planeja expandir o programa, tornando-o aberto e criando um modelo independente separado para colaboração da indústria em segurança de IA.
Boris Cherny, criador do Claude Code, disse que executa cerca de dois mil agentes de…
A Framework, fabricante de laptops modulares, trouxe boas e más notícias para seu público. A…
Cientistas chineses testaram com sucesso o núcleo óptico do futuro observatório espacial de ondas gravitacionais…
A Comissão Federal de Comunicações (FCC) dos EUA autorizou a SpaceX a usar o espectro…
A desenvolvedora e editora japonesa Capcom divulgou seus resultados para o último ano fiscal (encerrado…
Os smartphones Xperia 1, carro-chefe da Sony, mantiveram praticamente o mesmo design desde 2020. Isso…