Um truque popular de IA para facilitar a vida se mostrou prejudicial: perguntar “finja que você é um especialista” piora as respostas.

Segundo um estudo realizado por pesquisadores da Universidade do Sul da Califórnia, solicitações a sistemas de inteligência artificial que pedem a chatbots que se façam passar por profissionais podem reduzir a qualidade do conteúdo gerado, incluindo o código do software.

Fonte da imagem: Steve Johnson / unsplash.com

Em 2023, no início da era da IA, pesquisadores recomendavam iniciar solicitações de geração de código para chatbots com frases como “Você é um programador experiente em aprendizado de máquina”. Acreditava-se que isso melhoraria a qualidade do código retornado. Recomendações semelhantes ainda são comuns hoje em dia, mas um novo estudo revelou que a eficácia de solicitações baseadas em perfis profissionais depende da tarefa em questão. Para tarefas que envolvem conteúdo pré-treinado, como matemática ou programação, a qualidade da resposta pode, na verdade, diminuir.

Isso ocorre porque mencionar um perfil profissional em uma solicitação não adiciona nenhuma expertise — o volume de dados de treinamento permanece o mesmo. E ao acessar conteúdo pré-treinado, a definição de perfil profissional pode, na verdade, se tornar um obstáculo. Isso foi confirmado pelo popular teste MMLU (Massive Multitask Language Understanding): ao atribuir o perfil de especialista à consulta, a qualidade das respostas diminuiu em todas as quatro categorias, com a precisão geral caindo de 71,6% para 68,0%.

Escolher um modelo a seguir aumenta a probabilidade de a IA fornecer a resposta esperada pelo usuário, mas isso pode impactar negativamente a qualidade da tarefa em si, já que a IA tende a se adequar mais ao papel atribuído. No caso da programação, porém, um modelo a seguir incentiva um desenvolvimento mais detalhado e de alta qualidade da interface do usuário, da arquitetura do projeto e da seleção de ferramentas.Para resolver esse problema, os cientistas propuseram o esquema PRISM (Persona Routing via Intent-based Self-Modeling), no qual a IA seleciona automaticamente um modelo ou simplesmente gera conteúdo sob demanda. Dependendo do tipo de tarefa, um mecanismo baseado em adaptação de baixa classificação (LoRA) é ativado. “Se a conformidade com os requisitos (segurança, regras, estrutura estabelecida, etc.) for mais importante para você, seja mais específico; se a precisão e os fatos forem mais importantes, simplesmente envie a solicitação”, concluíram os cientistas.