Cultivando a Inteligência Artificial Geral (IAG) em sua equipe / Inteligência Artificial

A busca por um gato preto em um quarto escuro (especialmente se for a versão definitiva do gato de Schrödinger — um gato que não só está simultaneamente vivo e morto, como cuja própria existência é incerta) é uma busca incrivelmente fascinante. Como qualquer empreendimento científico, porém, o único problema é que costuma ser uma busca cara. Não é de admirar que o acadêmico soviético Artsimovich tenha definido, meio em tom de brincadeira, a ciência como uma forma de satisfazer a própria curiosidade às custas do público: quando o prazo para se alcançar um resultado final não é garantido e os recursos gastos na busca não podem ser estimados nem mesmo aproximadamente, alguém tem que pagar a conta. Por ora, o desenvolvimento de uma inteligência artificial forte (IAF) — aquela que resolverá problemas em pé de igualdade com os humanos, ou até mesmo superará seu criador em vários aspectos — está sendo realizado essencialmente a crédito. A Gartner estima que o gasto global total em inteligência artificial no ano passado foi de US$ 1,5 trilhão (com potencial para atingir pelo menos US$ 2 trilhões até 2026), enquanto um estudo da Deloitte de 2025 constatou que apenas 6% dos projetos de IA se pagam em menos de um ano, e mesmo entre os mais bem-sucedidos, apenas 13% geram lucro no mesmo período. É principalmente o setor privado que financia o desenvolvimento da inteligência artificial — incluindo a inteligência forte, já que os atuais modelos de linguagem de grande escala (LLMs) são amplamente considerados os precursores diretos da Inteligência Artificial Geral (AGI); os orçamentos governamentais alocam uma quantia um pouco menor, e valores ainda mais insignificantes provêm de usuários individuais. O setor privado, com toda a razão, dita as regras, exigindo melhoria contínua na eficácia dos LLMs em todos os níveis.Uma série de parâmetros facilmente mensuráveis ​​e compreensíveis: a verossimilhança do vídeo produzido, a precisão do reconhecimento de imagem, a redução na frequência de alucinações, etc. E os desenvolvedores, por sua vez, são forçados, seguindo a orientação dos investidores, a trilhar um extenso caminho de aprimoramento de seus modelos — a mesma história de sempre, só que mais complexa. Afinal, simplesmente aumentar o número de parâmetros operacionais realmente melhora o resultado visivelmente — e o fato de os BNMs (Modelos Nacionais de Negócios) estarem se tornando cada vez mais vorazes por eletricidade e água é algo que pode ser tolerado enquanto o investimento continuar fluindo. No entanto, cada vez mais, os desenvolvedores são questionados sobre algo pouco lisonjeiro: o caminho já trilhado que escolheram os levará, em última análise, à IAG (Inteligência Artificial Geral) — ou eles terão que, eventualmente, reunir a coragem para admitir que nem um trilhão de parâmetros a mais, nem mesmo uma centena, são capazes de aproximar a humanidade do contato com uma inteligência fundamentalmente diferente, ainda que criada artificialmente por ela mesma?

“Ninguém espera uma inquisição generativa!” (Fonte: Geração de IA baseada no modelo Seedream v5.0 Lite)

⇡#Com sua própria carta constitutiva — não exatamente um mosteiro

Em meados de fevereiro, a OpenAI dissolveu sua “Ordem dos Jesuítas” interna — uma equipe que doutrinava seus próprios funcionários sobre as metas e objetivos da empresa e, simultaneamente, os comunicava ao público. Formado em setembro de 2024, esse grupo, chamado Alinhamento de Missão, tinha a tarefa de desenvolver uma abordagem unificada e coordenada para a missão declarada da OpenAI. O líder do grupo, Josh Achiam, agora futurista-chefe da empresa, formulou a missão declarada da seguinte forma: “Garantir que a inteligência artificial forte beneficie toda a humanidade e monitorar de perto como o mundo muda em resposta à crescente prevalência de IA, IAG e o que vem a seguir.” Por “o que vem a seguir”, ele provavelmente se refere à “superinteligência” (SI). Se a Inteligência Artificial Geral (IAG), nos termos da OpenAI, é uma ferramenta poderosa, porém prática, que supera as capacidades cognitivas humanas na maioria das áreas de atividade economicamente significativas (o mesmo deslocamento dos seres humanos de suas esferas habituais de trabalho mental produtivo que muitos economistas temem), então a Inteligência Artificial (IA) representa um salto além dos limites do pensamento humano. Um salto que potencialmente promete uma aceleração simplesmente fantástica das descobertas científicas e outras inovações — talvez até mesmo além da compreensão humana de como e o que exatamente essa IA é implementada na prática. Aliás, em 2023, a empresa já estava criando um grupo dedicado a…A equipe de Superalinhamento pesquisava ameaças futuras que poderiam surgir especificamente da inteligência artificial (IA) avançada. No entanto, ela foi dissolvida em 2024 — embora com a saída simultânea e bastante notória de seus líderes, Ilya Sutskever e Jan Leike, da OpenAI.

Contudo, a dissolução das equipes de Alinhamento de Missão e Superalinhamento parece um passo lógico: seus funcionários (com raras exceções) não deixaram a OpenAI, mas foram incorporados a outras divisões da empresa — claramente continuando a desempenhar suas funções anteriores, porém mais próximos da vanguarda do desenvolvimento da inteligência artificial. A questão é que as vastas oportunidades potencialmente abertas pela IAG (Inteligência Artificial Geral) e, posteriormente, pela SI (Inteligência Artificial Geral), capazes de atividade cognitiva verdadeiramente autônoma, também representam uma ameaça potencialmente igualmente formidável. Ou, no mínimo, uma enorme incerteza: quando (e se) máquinas autoconscientes se tornarem realidade, teremos que negociar com elas para que comecem imediatamente a resolver problemas humanos — em vez de se concentrarem principalmente no autoconhecimento ou em algo igualmente improdutivo de uma perspectiva puramente prática (nossa, não dessas mentes recém-criadas). Nesse sentido, o papel dos ex-funcionários das equipes de Superalinhamento e Alinhamento de Missão, agora integrados em toda a força de trabalho da OpenAI, parece ser crucial.O papel desses sábios mentores, convocados no processo de trabalho conjunto (com colegas humanos) e educação (assumida pela IAG e SI), é o de formar, de forma discreta, porém eficaz, assim como os jesuítas fazem em suas escolas, o comprometimento daqueles que estão sendo educados (tanto biológicos quanto humanos).O desenvolvimento de inteligências digitais está sujeito a padrões éticos muito específicos. Esses padrões, sendo o primeiro e mais importante deles a segurança e, mais importante ainda, os benefícios da IA ​​avançada para os humanos, foram formulados há muito tempo na Carta da OpenAI.

A simplicidade e a transparência da estrutura corporativa da OpenAI dissipam quaisquer dúvidas sobre a eficácia do controle exercido por seu braço sem fins lucrativos sobre o faturamento bilionário de seu componente comercial (fonte: openaifiles.org).

Vale lembrar que a OpenAI foi fundada em 2015 como uma organização de pesquisa sem fins lucrativos, voltada especificamente para o desenvolvimento de Inteligência Artificial Geral (IAG) segura e benéfica (IA forte; os modelos atuais do GPT são apenas uma etapa intermediária rumo a esse objetivo final). Somente em 2019 a empresa conseguiu atrair seu primeiro bilhão de dólares em investimentos da Microsoft. Em 2025, a OpenAI foi reorganizada como uma corporação de benefício público (PBC). Essa é uma das entidades jurídicas permitidas nos Estados Unidos cujo estatuto não estipula a obrigação de maximizar os lucros distribuídos entre os acionistas, de modo que o controle geral sobre as atividades da OpenAI permanece com o braço sem fins lucrativos de “benefício público”. Tal modelo híbrido, na visão de seus fundadores (embora alguns deles, como o já mencionado Ilya Sutskever, já tenham deixado a OpenAI, desiludidos com a possibilidade de alcançar seus objetivos previamente definidos pelo caminho escolhido), deveria combinar a busca pela missão declarada da empresa com a necessidade de atrair recursos financeiros significativos. Contudo, alguns críticos maldosos comparam o caminho escolhido por Sam Altman para garantir a estabilidade financeira da empresa à abertura de um bordel para financiar um mosteiro carmelita. Essas críticas se tornaram especialmente virulentas após a aquisição extremamente bem-sucedida da Anthropic pela OpenAI, que havia adotado uma estratégia altamente questionável — do ponto de vista de…O notório benefício para todas as pessoas, sem exceção, sem distinção entre “puros e impuros” — um contrato com o Pentágono. Mas ideais são ideais, e o custo de desenvolvimento e treinamento, bem como a intensidade de recursos durante a inferência, mesmo para os modelos de IA avançados de hoje, que ainda estão longe da IAG (Inteligência Artificial Geral), é tão alto que doações voluntárias por si só certamente não serão suficientes; os Carmelitas terão que suportar a convivência difícil com indivíduos menos socialmente responsáveis.

⇡#Ilya vs. Sam

Da perspectiva do problema filosófico de Verstand/Vernunft (Consciência/Consciência), que mencionamos em um artigo anterior sobre IAG, as disputas em torno da comercialização da OpenAI, a criação e dissolução de certos departamentos e a compreensão interna dos funcionários sobre a “segurança” e a “utilidade” das aplicações de IA parecem insignificantes. Mas, na realidade, como já observado, as atividades práticas diárias de uma empresa determinam diretamente como ela avança em direção ao seu objetivo pretendido — alcançar a IAG. Ilya Sutskever, cofundador da OpenAI e agora fundador da Safe Superintelligence Inc., acredita que a corrida cada vez mais acelerada para atrair investimentos — necessários para treinar e lançar redes neurais densas com múltiplos parâmetros, que supostamente estão prestes a oferecer benefícios reais, e não apenas a capacidade de dizer de forma rápida e precisa a um usuário entediado se o rabo de um gato tem músculos — não levará ao cobiçado objetivo de construir Inteligência Artificial Geral (IAG), muito menos Inteligência Artificial (IA). O problema, segundo o pesquisador, não é que as redes neurais densas e profundas treinadas com aprendizado por reforço careçam de um certo número de parâmetros operacionais e/ou poder computacional. O problema, Sutskever está convicto, é queOs atuais BNMs, assim como suas versões anteriores, ainda apresentam desempenho muito inferior ao dos humanos na generalização de dados. Embora sejam excelentes em benchmarks — como o exemplo do ARC-AGI-2 citado no artigo anterior — seu desempenho é atípico em fluxos de trabalho do mundo real, sem mencionar as tentativas de controlar robôs operando no mundo real, com seu ambiente em constante mudança e nem sempre previsível.

Um grupo de pesquisadores do Centro para Segurança da IA ​​propôs um modelo quantitativo para determinar o quão bem uma determinada IA ​​se assemelha às habilidades cognitivas de um adulto com alto nível de escolaridade. A avaliação é conduzida em dez domínios, incluindo raciocínio, memória e percepção, e adapta testes psicométricos existentes para gerar o Modelo de Rede Neural (MRN). Os resultados são decepcionantes: embora o progresso no desenvolvimento da IA ​​seja evidente (o gráfico compara o desempenho do GPT-4 e do GPT-5; a diferença de tempo entre eles é de dois anos), as máquinas ainda estão longe do desempenho humano — especialmente em mecanismos cognitivos básicos, incluindo a memória de longo prazo (fonte: agidefinition.ai/).

Então, qual é o problema com os modelos generativos atuais — modelos cujo desenvolvimento, começando com a rede neural AlexNet, que literalmente revolucionou o aprendizado de máquina em 2012, contou com a participação ativa do próprio Ilya Sutskever? Em resumo, o problema reside na combinação extremamente infeliz de duas características principais dos MRNs, que não são catastróficas em si mesmas: sua fraca capacidade de generalização e o aprendizado por reforço baseado em operadores. A razão para a primeira dessas características é bastante óbvia para qualquer pessoa com um conhecimento básico do processo de treinamento do BNM. Sutskever dá um exemplo ilustrativo de um aluno que passou dezenas de milhares de horas praticando a resolução de problemas competitivos (em programação, por exemplo). Ele acabará por lidar com eles de forma soberba, provavelmente tornando-se até invencível em sua área, mas quando conseguir um emprego e se deparar com problemas reais do dia a dia, a qualidade de suas soluções será…Para dizer o mínimo, medíocre. Por outro lado, um estudante generalista que dedicou apenas cem horas a laboratórios de programação geral durante seus estudos inicialmente terá dificuldades para dominar ferramentas desconhecidas e resolver problemas desconhecidos do zero no ambiente de trabalho. No entanto, ele ganhará experiência e atingirá um bom nível médio, com potencial para crescimento futuro.

Assim, por sua própria natureza, os modelos generativos são como aqueles nerds vencedores de Olimpíadas que dependem excessivamente da memorização (dependência excessiva da memorização — papagaios estocásticos, sim, sim), são propensos à generalização excessiva de algoritmos, mais cedo ou mais tarde atingem um limite crítico de complexidade, etc. Em resumo, os modelos generativos, mesmo das melhores arquiteturas modernas, têm dificuldade em generalizar e estão sujeitos à linearidade de seu “pensamento” (as cadeias de inferências construídas por suas versões de “raciocínio”, ou melhor), o que torna a verificação confiável da veracidade das conclusões a que chegam um problema sério para eles, especialmente ao resolver problemas abstratos ou criativos.

Um breve resumo infográfico das opiniões de Ilya Sutskever sobre o estado atual da pesquisa em Inteligência Artificial Geral (IAG), presumivelmente criado com alguma ajuda da IA ​​(fonte: smithstephen.com)

A segunda característica que Ilya Sutskever destaca é o aprendizado por reforço orientado à avaliação. Estritamente falando, os desenvolvedores não têm motivos para culpar o espelho neste caso: eles determinam quais características específicas do modelo serão aprimoradas por meio desse mecanismo — e em que medida. Como resultado, como o próprio pesquisador admite, os operadores, consciente ou inconscientemente, implementam uma “manipulação de recompensas por humanos” — quando selecionam um ambiente no qual o agente de IA aprende mais por meio da avaliação e também implementam a auto-codificação de objetivos de aprendizado na forma de funções de recompensa que incentivam o agente a adotar comportamentos específicos. “E como”, diz Sutskever, “todos querem demonstrar alto desempenho desde a primeira execução, cada equipe realiza o aprendizado por reforço, focando nas pontuações que serão posteriormente publicadas em um post de blog. Isso resulta em modelos ajustados para resultados impressionantes em benchmarks, e não em situações do mundo real.” As conquistas do BNM parecem muito mais atraentes em gráficos de benchmarks especializados do que na resolução de problemas do dia a dia — e isso ocorre porque o aprendizado é inicialmente realizado com um conjunto de dados limitado e, posteriormente, com reforço subjetivamente determinado.

Como combater esse flagelo? Ilya Sutskever prevê que, até a década de 2030, uma abordagem diferente para o aprendizado, muito mais semelhante à prática humana real, será amplamente aceita. Afinal, por quê?As alucinações da IA ​​nos irritam profundamente — afinal, nós também não somos imperfeitos e cometemos erros? A questão é que a razão para esses erros é completamente diferente: nem mesmo uma criança em idade pré-escolar consegue desenhar seriamente uma pessoa com três braços ou uma xícara flutuando no ar. A mente humana se baseia em anos de experiência adquirida no mundo físico. “Infundir” uma rede neural com essa experiência simplesmente alimentando-a com petabytes de dados não rotulados é uma tarefa praticamente impossível, especialmente porque o planeta está ficando sem informações originais (geradas diretamente pela inteligência biológica). O próprio Elon Musk confirmou isso há mais de um ano, defendendo uma transição para dados sintetizados por IA para o treinamento de novos modelos. No entanto, isso acarreta o risco de degradação e colapso dos modelos generativos muito antes de atingirem o tão almejado estado de Inteligência Artificial Geral (IAG). Isso significa que a tendência dos modelos generativos à generalização excessiva não pode ser superada apenas com o aumento exponencial dos conjuntos de dados de treinamento. E agora?

O caminho certo para criar uma Inteligência Artificial Geral (IAG), segundo os defensores de Ilya Sutskever, é uma transição da aprendizagem de máquina estática para a aprendizagem adaptativa (fonte: Safe Superintelligence Inc.).

⇡#”Ela ainda é muito jovem para contar nos dedos!”

Ilya Sutskever propõe uma abordagem próxima da natural: aprendizagem por reforço a longo prazo. A essência é a seguinte: para a grande maioria dos atuais Sistemas de Medição Baseados em Ações (BNMs), a aprendizagem por reforço se resume a recompensar a resposta correta apenas no final das ações do sistema — que, considerando os circuitos de “raciocínio” e as capacidades multiagentes atualmente em voga, podem ser bastante numerosas. Mas é muito mais lógico — se o objetivo é imitar o funcionamento da consciência humana — usar uma função de valor que indique claramente a utilidade da próxima decisão elementar tomada pelo agente (estar em um determinado estado ou realizar uma determinada ação), não imediatamente, mas em termos da recompensa futura esperada pela resposta final, que será obtida como resultado cumulativo do acúmulo dessas decisões elementares. Aqui, naturalmente, surge a questão de como definir essa função em si, mas ainda é uma questão técnica, solucionável. Em um nível fundamental, o modelo de rede bayesiana (BNM) que se baseia em funções de valor durante o (pré-)treinamento executará com muito mais frequência, em cada etapa de seu trabalho, precisamente as ações que maximizam a recompensa a longo prazo. Em outras palavras, o modelo de texto para imagem, ao descobrir que está desenhando uma pessoa com três braços ou seis dedos (embora não houvesse um requisito direto para isso no prompt do operador), por si sóEla irá desacelerar e se corrigir. E a IA orientada por valores terá significativamente menos outras alucinações.

Uma das principais queixas sobre a IA atual é sua atitude ostentosa de sabe-tudo, aliada a uma servil falta de confiança em suas próprias afirmações: a princípio, um bot de IA dará uma resposta rápida e categórica a qualquer pergunta, mas depois, quando questionado com “Tem certeza?”, muitas vezes se atrapalha e muda de ideia. As pessoas, ao contrário, estão convencidas de que realmente sabem e podem fazer algo, e essa convicção é reforçada pela quantidade de experiência relevante que uma pessoa possui. Essa experiência, aliás, inclui reforço emocional, não apenas reforço baseado em valores, o que permite a correção eficaz das linhas de raciocínio. Se uma pessoa sensata duvida de sua capacidade de responder a uma pergunta corretamente, ela hesitará, ficará confusa e talvez até um pouco chateada. Segundo Sutskever, todos esses são importantes mecanismos de autocorreção que, em um nível emocional, forçam o cérebro a “redirecionar” seus processos, acessando fontes de dados externas, consultando indivíduos mais experientes e assim por diante. Em uma entrevista concedida no final de 2025, o pesquisador insinuou a descoberta de um princípio fundamental da aprendizagem de máquina que rege a generalização e o aprendizado eficaz a partir de amostras em humanos, e sua intenção de implementá-lo em seus modelos, que almejam o prestigioso título de Inteligência Artificial Geral (IAG). No entanto, ele ainda não revelou nem mesmo a essência de sua hipótese, pois a concorrência está atenta.

Depois da IAG, também teremos que trabalhar na SI! (Fonte: Safe Superintelligence Inc.)

Como o chefe da Safe Superintelligence Inc. vislumbra a futura IAG (que ele espera ser a primeira já criada por sua equipe)? Ilya Sutskever está convencido de que não será um sistema quase estático treinado uma única vez com trilhões de tokens (e depois ajustado para tarefas específicas com amostras muito menores), mas sim um modelo que aprende continuamente. Além disso, ele aprende a executar uma ampla variedade de tarefas: instâncias individuais da mesma IA (se será um BNM no sentido moderno do termo é uma questão em aberto) encontram diferentes situações, trocam experiências e formam uma memória agregada (compartilhada) — algo impossível para humanos, mas trivial para máquinas — e, assim, melhoram continuamente. Com essa abordagem, a implantação do modelo é quase tão importante quanto seu treinamento inicial: quanto mais diversa for a experiência acumulada por seus “avatares” individuais, mais próxima sua abordagem geral para resolver problemas práticos (e não benchmarks!) se torna da abordagem humana. Sim, isso levará um tempo considerável — Sutskever cita um período de 5 a 20 anos, necessário para que a IA que sua empresa está desenvolvendo atinja o nível de prontidão exigido. No entanto, é precisamente nesse nível, acredita o pesquisador, que um sistema com milhões de instâncias, cada uma executando milhares de tarefas diversas, atingirá essencialmente o estágio de Inteligência Artificial Geral (IAG) — começará a se manifestar plenamente, indistinguivelmente de um portador biológico de inteligência. E então, a “superinteligência” estará a um passo de distância: talvez precisamente a agregação eficaz da experiência acumulada de milhões de instâncias.Agentes de memória práticos permitirão um salto qualitativo, possibilitando que a Superinteligência (SI) supere seu criador.

No mínimo, esse tipo de “superinteligência” será comparável não a um ser humano individual, mas à humanidade como um todo — ou pelo menos a uma das muitas civilizações criadas pelos humanos ao longo da história. Ao mesmo tempo, o problema da potencial ameaça à inteligência biológica por parte de uma inteligência artificial tão avançada será significativamente reduzido, senão completamente eliminado. Uma SI digital como Mogli, literalmente criada por humanos, cada um de cujos avatares interagiu com uma ampla variedade de aspectos da vida humana durante seu “crescimento”, seria simplesmente incapaz, em termos gerais, de apertar o botão “Limpar o Planeta”. Isso porque todo o sentido de sua existência se reduziria a uma troca contínua não apenas de informações, mas também de emoções com esses seres frágeis, inconsistentes, ilógicos, tendenciosos, irritáveis, mas ainda assim, no pleno sentido da palavra, seres vivos.

Pesquisadores da Universidade Rice e da Universidade Stanford estudaram como o treinamento da Rede Neural Bayesiana (BNM) é afetado pelo uso de dados sintéticos em diversas configurações: um ciclo totalmente sintético, um ciclo de aumento sintético e um ciclo com a adição de novos dados reais (fonte: arxiv.org/abs/2307.01850).

Existem outros projetos em desenvolvimento que delinearam um caminho intensivo semelhante ao de Sutskever para alcançar a Inteligência Artificial Geral (IAG)? Talvez sim: em meados de fevereiro, uma publicação na Nature Computational Science revelou o desenvolvimento de uma rede neural na China chamada CATS Net, que não apenas tokeniza os dados de entrada, mas os transforma em seus próprios “conceitos” internos, formando algo semelhante às sensações humanas. Estruturalmente, a rede neural consiste em dois módulos: abstração de conceitos e resolução de problemas (processamento de imagens, em particular). A primeira gera uma espécie de rótulos internos que permitem a identificação de objetos: por exemplo, para uma bola de futebol clássica, esses rótulos seriam “redonda”, “preta e branca”, “composta por polígonos”, “usada em um jogo específico” e assim por diante. Quando o sistema se depara com um novo objeto para identificação, ele o compara com uma série de rótulos já acumulados e gera novos, se necessário. Isso acelera a solução de problemas aplicados, graças à rede neural que “desenvolve uma compreensão” dos objetos presentes na imagem e de como eles interagem.

Além disso, os desenvolvedores da CATS Net parecem ter superado a antiga “maldição da incerteza das redes neurais”. Quando dois sistemas de reconhecimento de imagem aprendem a distinguir, digamos, entreEm imagens de gatos e cachorros, os atributos convencionais de “felino” e “cachorro” são formados como uma combinação específica de pesos nas entradas de seus perceptrons. Mas mesmo para duas redes neurais completamente idênticas, treinadas com o mesmo conjunto de dados, essas combinações serão diferentes — tudo devido à natureza estocástica inevitável do processo de retropropagação do sinal. Alega-se que diferentes instalações da CATS Net são capazes de coordenar seus “espaços conceituais” — assim, o atributo convencional de “felino” pode ser transmitido de uma rede neural, já treinada para reconhecer gatos, para outra. Isso representa precisamente um passo na direção delineada por Ilya Sutskever, ao falar sobre a agregação da memória de um grande número de instâncias de IA. Essencialmente, isso é análogo à comunicação humana por meio da linguagem — ou, mais precisamente, um sistema fixo de símbolos.

Para levar a IA ao nível de IAG (Inteligência Artificial Geral) e, posteriormente, à SI (Inteligência Artificial Geral), seguindo o caminho traçado por Sutskever e seus colaboradores, a taxonomia de Bloom — uma estrutura hierárquica desenvolvida em 1956 pelo psicólogo educacional Benjamin Bloom e seus colegas para classificar os objetivos de aprendizagem por sua complexidade e especificidade (fonte: Universidade do Arkansas) — será útil.

Os pessimistas, é claro, apontarão imediatamente o perigo de introduzir maliciosamente todos os tipos de conceitos duvidosos na “consciência” de modelos como a CATS Net — bastaria ensinar algo ruim a uma instância local e, em seguida, encontrar uma maneira de injetar essa informação alienada na memória agregada do conjunto de agentes ativos. Mas, em primeiro lugar, as próprias pessoas aprendem coisas ruins o tempo todo, e estruturas especiais na sociedade foram criadas para conter os excessos que surgem dessa forma — desde tribunais camaradas e senhoras idosas em bancos do lado de fora de prédios residenciais até forças policiais especiais e as Forças de Mísseis Estratégicos. Em segundo lugar, é aqui que os “jesuítas da IA” que a OpenAI está introduzindo na comunidade de desenvolvedores se tornam úteis — para garantir que o menor número possível de Homo sapiens nutra intenções nefastas em relação ao aprendizado ativo de protótipos de IAG (Inteligência Artificial Geral). Aliás, somente uma apólice de seguro pode fornecer uma garantia completa: por que a humanidade pensou que aumentar o número de seres inteligentes no planeta tornaria a vida mais fácil? Isso nos enriquecerá, nos tornará mais realizados e abrirá novos horizontes — isso é inegável. Mas certamente não nos permitirá relaxar, deixando todas as nossas preocupações para uma IA poderosa. Ela está destinada — se Ilya Sutskever estiver certo em suas previsões — a crescer e amadurecer entre nós. Ela terá que se esforçar para demonstrar isso.Um exemplo notável de inteligência digital!