A julgar pela atividade dos participantes do mercado de IA, eles estão atualmente focados em aumentar o poder computacional, na esperança de que, em determinado momento, a quantidade se traduza em qualidade. Ilya Sutskever, um dos fundadores da OpenAI, está convencido de que a era da escalabilidade está chegando ao fim e que o progresso significativo no desenvolvimento da IA exigirá pesquisa séria e aprofundada.
Fonte da imagem: Departamento de Empreendedorismo da Universidade de Toronto
Na OpenAI, Ilya era responsável pela pesquisa e foi forçado a deixar a startup não apenas pelo conflito em torno da renúncia fracassada do CEO Sam Altman, mas também por discordar da estratégia de desenvolvimento da empresa. Como ficou claro em uma entrevista recente, Ilya Sutskever está alarmado com o foco contínuo da indústria de IA no desenvolvimento extensivo. Grandes modelos de linguagem têm sido aprimorados até agora pela incorporação de mais dados, recursos computacionais ou pelo aumento do número de parâmetros dentro do próprio modelo.
Para os participantes do mercado, essa abordagem era conveniente porque fornecia resultados claros com risco e incerteza mínimos. Não era necessário um grande número de pesquisadores qualificados e talentosos, já que o progresso era alcançado pelo aumento do número de recursos utilizados. De acordo com Sutskever, esse caminho de desenvolvimento se esgotará em breve, principalmente devido ao esgotamento dos dados adequados para o treinamento de modelos de linguagem. Todas as informações disponíveis online já foram utilizadas para treinar IA.
Sutzkever está convencido de que mesmo um aumento de 100 vezes na escala da infraestrutura existente não garantirá um avanço qualitativo no desenvolvimento da IA. Embora algumas melhorias sejam perceptíveis, a chamada “inteligência artificial forte” (AGI) não será criada dessa forma. Segundo o fundador da Safe Superintelligence, a humanidade será forçada a retornar à era da pesquisa, equipada com novas e poderosas ferramentas para auxiliar os cientistas em seu trabalho. Sua startup se dedica justamente a esse tipo de esforço.pesquisa, como fica claro na entrevista.
Ao longo do caminho, Sutskever faz um esclarecimento importante. Em sua opinião, grandes modelos de linguagem generalizam o conhecimento muito pior do que os humanos. Por exemplo, se um colega sênior treina um jovem pesquisador usando seu próprio trabalho como exemplos, fornecendo explicações e discutindo ideias em conjunto, o treinamento de um modelo requer um plano preciso, onde a obtenção de resultados estritamente formalizados é verificada em cada etapa, e enormes conjuntos de dados com exemplos são usados para o treinamento. Mesmo nesse caso, os humanos demonstrarão resultados de aprendizado superiores aos da IA. A comunidade científica ainda não tem certeza de como reduzir essa diferença.