NVIDIA emote NPCs em jogos usando IA

Na Computex 2023, a NVIDIA apresentou a plataforma Avatar Cloud Engine (ACE) para jogos, que permitirá personagens não-jogadores (NPCs) mais inteligentes em jogos. A ferramenta apresentada permite que os desenvolvedores criem seus próprios modelos de IA que lhes permitirão gerar fala natural, diálogo e movimento para NPCs. Nos últimos meses, desde o anúncio da plataforma, a NVIDIA a aprimorou ensinando a criar personagens emocionais.

Fonte da imagem: NVIDIA

Como parte da demonstração inicial da tecnologia ACE, a empresa mostrou uma cena de demonstração interativa de Kairos com NPC Jin, dono de uma loja de macarrão, criada no motor Unreal Engine 5 com tecnologia de ray tracing. Hoje, a NVIDIA anunciou que integrou o modelo NVIDIA NeMo SteerLM AI à plataforma ACE. Ele permite que os desenvolvedores de jogos mudem o caráter dos personagens não-jogadores, tornando-os mais emocionais e realistas, o que permite que uma pessoa fique mais imersa no mundo do jogo.

A maioria dos Modelos de Linguagem (LLMs) são projetados para fornecer apenas respostas neutras. Eles são privados da possibilidade de imitações emocionais e de características comportamentais pessoais. Um exemplo típico de tais LLMs são os chatbots de IA. Por sua vez, com a ajuda do SteerLM, os modelos de linguagem são treinados para dar respostas correspondentes a determinados atributos de caráter, desde o humor até a criatividade e a toxicidade. Ao mesmo tempo, todas as características do personagem do NPC podem ser ajustadas apenas com o movimento de alguns controles deslizantes na interface do SteerLM. Um exemplo de uso do SteerLM e os resultados do trabalho podem ser encontrados no vídeo abaixo, como parte da mesma cena de demonstração interativa do NVIDIA Kairos.

Como você pode ver, as respostas dos NPCs variam consideravelmente, dependendo dos atributos do personagem selecionado e do nível de intensidade. O NPC pode se ofender com o comentário do jogador, tentar explicar a situação com mais detalhes, e também fazê-lo com humor e criatividade. Com o NVIDIA NeMo SteerLM, você pode alterar características de personagens existentes, bem como adicionar novas, criando personagens interativos não-jogadores verdadeiramente únicos para uma cena ou local de jogo específico.

A resposta emocional não é o único caso de uso do SteerLM em jogos. Com esta tecnologia, os desenvolvedores podem criar vários personagens ao mesmo tempo usando um único LLM. Além disso, os desenvolvedores podem criar os chamados atributos de facção para alinhar as reações de certos NPCs com o desenvolvimento da história do jogo, permitindo que os NPCs mudem dinamicamente de personagem com base nas mudanças nos eventos do jogo.

A cena de demonstração acima usa o sintetizador de texto para fala da ElevenLabs para dar voz ao NPC Jin. Com o ACE, os desenvolvedores podem adicionar seus próprios componentes ao pipeline do ACE, ampliando seus recursos.