No ano passado, uma das novas profissões populares no campo da inteligência artificial foi a posição de engenheiro que escreve consultas para modelos de IA. Agora a Anthropic decidiu automatizar esta tarefa, confiando-a à própria IA.
Fonte da imagem: anthropic.com
Em muitos casos, grandes modelos de linguagem fornecem respostas adequadas até mesmo para consultas de usuários não profissionais, mas às vezes até mesmo uma pequena mudança no texto pode melhorar significativamente sua qualidade. Normalmente, isso exige que você mesmo passe por diversas formulações ou recorra aos serviços de um engenheiro, mas a nova função proposta pela Anthropic pode simplificar a tarefa. O painel de controle do Anthropic Console, projetado para o desenvolvimento de aplicações de terceiros baseadas no modelo Claude AI, agora possui uma nova aba Avaliar associada ao gerador de consultas integrado. Este gerador recebe uma breve descrição da solicitação como entrada e gera uma descrição muito mais longa e específica com base nela. É improvável que essa ferramenta deixe os engenheiros sem trabalho, mas pode economizar tempo e ajudar os usuários comuns.
Na seção Avaliar, desenvolvedores de aplicativos de terceiros podem testar a eficácia das sugestões geradas por seus aplicativos em diversos cenários. Você pode, por exemplo, carregar um exemplo válido em um conjunto de testes ou pedir ao Claude para gerar você mesmo essas consultas de teste para comparar sua eficácia e avaliar as respostas em uma escala de cinco. No exemplo dado pela Anthropic, o desenvolvedor determinou que seu aplicativo estava produzindo respostas muito curtas em vários casos de teste – uma das linhas da solicitação ajudou a torná-las mais longas, após o que esse esquema foi aplicado a todos os casos de teste.
Anteriormente, o cofundador e CEO da Anthropic, Dario Amodei, observou que a escrita de consultas é um dos aspectos mais importantes para a implementação generalizada de IA generativa. “Parece simples, mas em 30 minutos um engenheiro de demanda muitas vezes consegue fazer um aplicativo funcionar se ele não funcionasse antes”, disse Amodei.