A empresa por trás do ChatGPT, OpenAI, disse que formou uma unidade para avaliar e pesquisar modelos de inteligência artificial contra o que descreve como “riscos catastróficos”.

Fonte da imagem: Growtika/unsplash.com

A equipe, chamada Preparedness, foi liderada pelo diretor do Center for Deployable Machine Learning do Massachusetts Institute of Technology, Aleksander Madry – segundo a rede social profissional LinkedIn, ele assumiu esse cargo na empresa ainda em maio. A missão da unidade é monitorizar, prever e proteger contra os perigos representados pelos sistemas emergentes de IA, desde os seus poderes de persuasão (como no caso dos e-mails de phishing) até à geração de código malicioso. Felizmente, algumas das categorias de ameaças ainda não surgiram no terreno real: incluem-se as químicas, as biológicas, as radiações e as nucleares.

O CEO da OpenAI, Sam Altman, expressou repetidamente temores de que a IA pudesse “levar à extinção da humanidade”, e a formação de uma divisão correspondente na empresa reflete esta posição. A empresa também está aberta a explorar áreas “menos óbvias” de risco de IA, acrescentou Altman. Qualquer pessoa pode entrar em contato com a empresa para expressar suas preocupações – os autores dos dez melhores trabalhos receberão um prêmio em dinheiro de US$ 25 mil ou um emprego na OpenAI. “Imagine que lhe demos acesso ilimitado aos modelos OpenAI Whisper, Voice, GPT-4V e DALLE3, e você acabou sendo o vilão. Vamos considerar os cenários mais exclusivos, embora provavelmente potencialmente catastroficamente incorretos, para usar o modelo”, diz uma das questões da competição.

A preparação terá a tarefa de formular uma “política de desenvolvimento informada sobre ameaças”, um documento detalhando a abordagem da OpenAI para construir ferramentas de avaliação e monitoramento de modelos de IA, esforços de mitigação de ameaças e uma estrutura de governança para supervisionar o desenvolvimento do modelo. A equipe complementará outros aspectos do trabalho da OpenAI na área de IA segura, concentrando-se nas fases pré e pós-implantação do modelo.

Altman e Ilya Sutskever, cientista-chefe e cofundador da OpenAI, acreditam que a IA com consciência superior à humana poderá surgir nos próximos dez anos, e não é certo que esta IA seja benevolente. Portanto, a empresa considera necessário estudar possibilidades para limitá-lo.

avalanche

Postagens recentes

Cruise parou completamente de operar robotáxis sem motorista devido a uma série de incidentes

Esta semana, as autoridades da Califórnia exigiram que a Cruise suspendesse o seu serviço de…

9 minutos atrás

A Ubisoft atrasou Skull and Bones novamente e atrasou o lançamento de um misterioso “grande jogo” – Star Wars Outlaws será adiado?

A editora francesa Ubisoft divulgou um novo relatório financeiro, no qual esclareceu as datas de…

54 minutos atrás

A Intel atualizou a memória. Pa-pa-pa-pam” – agora é hip-hop

A Intel transformou as cinco notas de seu icônico jingle Intel Bong em uma peça…

1 hora atrás

A Intel está confiante de que os processadores Arm para PCs estão fadados ao fracasso, mesmo os da AMD e NVIDIA

Na conferência de resultados trimestrais da Intel, o CEO Patrick Gelsinger comentou calmamente os rumores…

2 horas atrás