Mira Murati, ex-CTO da OpenAI, fundou o Thinking Machines Lab, sua própria startup de IA que já arrecadou US$ 2 bilhões sem anunciar um único produto. Na quarta-feira, a empresa finalmente revelou um de seus projetos: planeja desenvolver um modelo de IA capaz de reproduzir suas próprias respostas. A tarefa não foi fácil.
Fonte da imagem: Steve Johnson / unsplash.com
O blog corporativo do Thinking Machines Lab publicou uma publicação intitulada “Superando a instabilidade em respostas de modelos de linguagem de grande porte”. Horace He, pesquisador da empresa, está tentando descobrir a causa raiz da aleatoriedade nas respostas de modelos de IA: se você fizer, por exemplo, a mesma pergunta ao ChatGPT várias vezes, o chatbot sempre responderá de forma diferente. A comunidade de IA aceitou essa característica como um dado adquirido; os modelos modernos são considerados sistemas não determinísticos, mas o Thinking Machines Lab acredita que o problema tem solução.
Horace He aponta que a causa raiz da aleatoriedade em modelos de IA reside no mecanismo de interação entre núcleos gráficos — algoritmos executados em chips Nvidia — durante o processo de inferência, ou seja, a saída do sistema de IA. Se você garantir um controle cuidadoso sobre esse mecanismo, poderá aumentar o nível de certeza no funcionamento dos modelos. Como resultado, a confiabilidade das respostas de IA para consumidores, empresas e cientistas aumentará. Ao alcançar a reprodutibilidade, também é possível melhorar a qualidade do aprendizado por reforço, o processo pelo qual a IA é recompensada por respostas corretas: se todas apresentarem pequenas diferenças, os dados de saída se tornam ruído de informação. Quando as respostas dos modelos de IA são mais consistentes, o processo de aprendizado por reforço se torna “mais suave”, argumenta o cientista.
Fonte da imagem: thinkingmachines.ai
O Thinking Machines Lab informou anteriormente aos investidores que planeja oferecer às empresas modelos de IA ajustados por meio de aprendizado por reforço. Mira Murati prometeu revelar o primeiro produto nos próximos meses, observando que ele será “útil para pesquisadores e startups que desenvolvem seus próprios modelos”. Ainda não está claro que tipo de produto é esse e se os métodos para melhorar a reprodutibilidade descritos no novo artigo serão usados em seu desenvolvimento. A empresa também anunciou planos de publicar frequentemente posts em blogs com códigos de programas e outras informações sobre suas pesquisas, a fim de “beneficiar a sociedade, bem como aprimorar nossa própria cultura de pesquisa científica”.
Quando o Thinking Machines Lab foi fundado, ele se comprometeu a manter uma política de transparência em relação às suas próprias pesquisas, mas, à medida que a empresa cresceu, tornou-se cada vez mais fechada. A publicação oferece uma rara visão dos bastidores de uma das startups mais sigilosas do setor — a direção exata do desenvolvimento da tecnologia ainda não foi divulgada, mas há motivos para acreditar que o Thinking Machines Lab assumiu um dos problemas mais importantes no campo da IA. O verdadeiro teste será se ela será capaz de resolver tais problemas e criar produtos baseados nessa pesquisa que justifiquem a avaliação de US$ 12 bilhões da empresa.