OpenAI criou uma equipe para estudar ameaças “catastróficas” de IA, incluindo nucleares

A empresa por trás do ChatGPT, OpenAI, disse que formou uma unidade para avaliar e pesquisar modelos de inteligência artificial contra o que descreve como “riscos catastróficos”.

Fonte da imagem: Growtika/unsplash.com

A equipe, chamada Preparedness, foi liderada pelo diretor do Center for Deployable Machine Learning do Massachusetts Institute of Technology, Aleksander Madry – segundo a rede social profissional LinkedIn, ele assumiu esse cargo na empresa ainda em maio. A missão da unidade é monitorizar, prever e proteger contra os perigos representados pelos sistemas emergentes de IA, desde os seus poderes de persuasão (como no caso dos e-mails de phishing) até à geração de código malicioso. Felizmente, algumas das categorias de ameaças ainda não surgiram no terreno real: incluem-se as químicas, as biológicas, as radiações e as nucleares.

O CEO da OpenAI, Sam Altman, expressou repetidamente temores de que a IA pudesse “levar à extinção da humanidade”, e a formação de uma divisão correspondente na empresa reflete esta posição. A empresa também está aberta a explorar áreas “menos óbvias” de risco de IA, acrescentou Altman. Qualquer pessoa pode entrar em contato com a empresa para expressar suas preocupações – os autores dos dez melhores trabalhos receberão um prêmio em dinheiro de US$ 25 mil ou um emprego na OpenAI. “Imagine que lhe demos acesso ilimitado aos modelos OpenAI Whisper, Voice, GPT-4V e DALLE3, e você acabou sendo o vilão. Vamos considerar os cenários mais exclusivos, embora provavelmente potencialmente catastroficamente incorretos, para usar o modelo”, diz uma das questões da competição.

A preparação terá a tarefa de formular uma “política de desenvolvimento informada sobre ameaças”, um documento detalhando a abordagem da OpenAI para construir ferramentas de avaliação e monitoramento de modelos de IA, esforços de mitigação de ameaças e uma estrutura de governança para supervisionar o desenvolvimento do modelo. A equipe complementará outros aspectos do trabalho da OpenAI na área de IA segura, concentrando-se nas fases pré e pós-implantação do modelo.

Altman e Ilya Sutskever, cientista-chefe e cofundador da OpenAI, acreditam que a IA com consciência superior à humana poderá surgir nos próximos dez anos, e não é certo que esta IA seja benevolente. Portanto, a empresa considera necessário estudar possibilidades para limitá-lo.