A empresa por trás do ChatGPT, OpenAI, disse que formou uma unidade para avaliar e pesquisar modelos de inteligência artificial contra o que descreve como “riscos catastróficos”.
Fonte da imagem: Growtika/unsplash.com
A equipe, chamada Preparedness, foi liderada pelo diretor do Center for Deployable Machine Learning do Massachusetts Institute of Technology, Aleksander Madry – segundo a rede social profissional LinkedIn, ele assumiu esse cargo na empresa ainda em maio. A missão da unidade é monitorizar, prever e proteger contra os perigos representados pelos sistemas emergentes de IA, desde os seus poderes de persuasão (como no caso dos e-mails de phishing) até à geração de código malicioso. Felizmente, algumas das categorias de ameaças ainda não surgiram no terreno real: incluem-se as químicas, as biológicas, as radiações e as nucleares.
O CEO da OpenAI, Sam Altman, expressou repetidamente temores de que a IA pudesse “levar à extinção da humanidade”, e a formação de uma divisão correspondente na empresa reflete esta posição. A empresa também está aberta a explorar áreas “menos óbvias” de risco de IA, acrescentou Altman. Qualquer pessoa pode entrar em contato com a empresa para expressar suas preocupações – os autores dos dez melhores trabalhos receberão um prêmio em dinheiro de US$ 25 mil ou um emprego na OpenAI. “Imagine que lhe demos acesso ilimitado aos modelos OpenAI Whisper, Voice, GPT-4V e DALLE3, e você acabou sendo o vilão. Vamos considerar os cenários mais exclusivos, embora provavelmente potencialmente catastroficamente incorretos, para usar o modelo”, diz uma das questões da competição.
A preparação terá a tarefa de formular uma “política de desenvolvimento informada sobre ameaças”, um documento detalhando a abordagem da OpenAI para construir ferramentas de avaliação e monitoramento de modelos de IA, esforços de mitigação de ameaças e uma estrutura de governança para supervisionar o desenvolvimento do modelo. A equipe complementará outros aspectos do trabalho da OpenAI na área de IA segura, concentrando-se nas fases pré e pós-implantação do modelo.
Altman e Ilya Sutskever, cientista-chefe e cofundador da OpenAI, acreditam que a IA com consciência superior à humana poderá surgir nos próximos dez anos, e não é certo que esta IA seja benevolente. Portanto, a empresa considera necessário estudar possibilidades para limitá-lo.
O mercado de IA empresarial está se monetizando mais rapidamente, por isso a OpenAI direcionou…
O Internet Archive Project é uma organização sem fins lucrativos que, como o próprio nome…
A editora Sony Interactive Entertainment e a desenvolvedora Guerrilla Games revelaram por completo o spin-off…
O Bitcoin caiu para US$ 66.896,43 hoje, com o sentimento dos investidores se inclinando cada…
Antecipando seu IPO previsto para este ano, a SpaceX planeja expandir sua divisão Starlink e…
Ao discutirmos novas tecnologias de processo, constantemente mencionamos os transistores como componentes-chave que determinam o…