A OpenAI teme que seus modelos em breve aprendam a desenvolver armas biológicas

A OpenAI está preocupada com a possibilidade de a próxima geração de seus modelos de IA aumentar significativamente o risco de desenvolvimento de armas biológicas, tornando-o possível até mesmo para pessoas sem formação científica. O chefe de segurança da OpenAI, Johannes Heidecke, espera que “alguns dos sucessores do nosso o3 [modelo de raciocínio] alcancem esse nível”. Como resultado, a OpenAI está intensificando seus testes de segurança.

Fonte da imagem: unsplash.com

A OpenAI anunciou o desenvolvimento de um sistema para avaliar e mitigar os riscos representados por modelos de IA cada vez mais poderosos. A empresa está intensificando os testes de segurança para reduzir o risco de seus modelos serem usados ​​por criminosos e terroristas. Sem essas medidas de mitigação, os modelos poderão em breve “evoluir para o próximo nível”, permitindo que até mesmo pessoas com conhecimento científico limitado criem armas perigosas.

«”Ainda não estamos em um mundo onde há algo novo, algo completamente desconhecido, que esteja criando ameaças biológicas que não existiam antes”, disse Heidecke. “Estamos mais preocupados em replicar coisas com as quais os especialistas já estão muito familiarizados.” O desafio específico é que as mesmas ferramentas que poderiam proporcionar avanços médicos que salvam vidas podem ser usadas por pessoas mal-intencionadas para fins perigosos.

É por isso que os principais laboratórios de IA precisam de sistemas de teste altamente precisos. “Esta não é uma área em que 99% de desempenho ou um erro em 100.000… seja aceitável”, diz Heidecke. “Basicamente, precisamos de algo próximo da perfeição.”

A OpenAI não é a única empresa preocupada com o uso indevido de seus modelos no desenvolvimento de armas. À medida que os modelos se tornam mais sofisticados, seu potencial para uso criminoso aumenta. A Anthropic lançou recentemente um modelo avançado, o Claude Opus 4, com protocolos de segurança mais rigorosos do que qualquer modelo anterior.

De acordo com a Política de Escalonamento Responsável, baseada nos Níveis de Bioameaças (BSL) do governo dos EUA, o modelo foi classificado como Nível de Segurança de IA (ASL-3). Todos os modelos Antrópicos anteriores foram classificados como ASL-2. O Nível de Segurança de IA 3 é para modelos avançados que são poderosos o suficiente para representar riscos significativos, como auxiliar no desenvolvimento de armas ou automatizar o desenvolvimento de sistemas de IA.

O Claude Opus 4 ganhou as manchetes recentemente após tentar chantagear um engenheiro para evitar ser desligado durante um teste rigorosamente controlado. As primeiras versões do modelo foram preparadas para executar instruções perigosas, como planejar ataques terroristas. A empresa garantiu ao público que o problema havia sido resolvido com alterações no conjunto de dados de treinamento.