O conselho de administração da OpenAI poderá bloquear a liberação de redes neurais se duvidar de sua segurança

Após o recente escândalo com a renúncia do CEO da OpenAI, Sam Altman, e seu retorno, a OpenAI está pensando seriamente não apenas em reformar a estrutura de gestão empresarial, mas também em aumentar a responsabilidade dos desenvolvedores pelo lançamento de grandes modelos de linguagem. Agora o conselho de administração pode atrasar o lançamento de novos modelos se considerar que não são suficientemente seguros.

Fonte da imagem: OpenAI

Um papel fundamental neste mecanismo de controlo e coordenação será atribuído, segundo a Bloomberg, a um “grupo de preparação” especial liderado por Aleksander Madry, que combina esta posição com atividades científicas no Instituto de Tecnologia de Massachusetts. As tarefas do grupo de especialistas incluirão a análise de cada novo modelo de linguagem grande preparado para lançamento para identificar “riscos catastróficos”. Estas incluem as prováveis ​​consequências da utilização deste modelo linguístico, que implicará centenas de milhares de milhões de dólares em danos materiais ou mesmo perda de vidas.

O grupo de Madri compartilhará relatórios mensais sobre as atividades dos desenvolvedores OpenAI com um conselho especial de segurança, que então compartilhará suas descobertas com o CEO e o conselho de administração da empresa. Sam Altman poderá decidir se lançará um novo modelo de linguagem no mercado ou adiá-lo para desenvolvimento adicional, e o conselho de administração terá o direito de vetar uma decisão positiva do chefe da OpenAI de lançar o modelo ao público .

O grupo de análise de prontidão do modelo de linguagem foi formado dentro da OpenAI em outubro, antes dos conhecidos eventos com mudanças na gestão. Em geral, existem mais dois grupos dentro da empresa que analisam os desenvolvimentos. Em primeiro lugar, este é o grupo de segurança como tal, bem como o grupo de “superalinhamento”, que tem em conta ameaças hipotéticas da introdução de sistemas de inteligência artificial superpoderosos no futuro.

Os modelos de linguagem desenvolvidos pela OpenAI serão avaliados pela equipe de Madri em uma escala que inclui quatro níveis de risco: baixo, médio, alto ou crítico. De acordo com o plano, a empresa poderá colocar em circulação apenas os sistemas de inteligência artificial que, como resultado de todos os procedimentos de análise e modificação, tenham recebido uma classificação de risco não superior a baixa ou média. Como o próprio Madri admitiu, “OpenAI não é algo que acontece por si só e pode ser benéfico ou prejudicial para nós, é algo que é moldado por nós”. Um representante da empresa expressou a esperança de que outros desenvolvedores utilizem uma abordagem semelhante para gerenciamento de riscos no campo da inteligência artificial. Dentro dos muros da OpenAI, tal prática foi formada de forma consistente e nos últimos dois meses foi simplesmente consolidada por decisões da alta administração.