Os testadores classificam as respostas do bot Google Bard AI aleatoriamente para que não percam dinheiro

O Google iniciou um teste beta limitado de seu AI chatbot Bard no mês passado. Desde então, funcionários de algumas grandes empreiteiras da gigante de TI têm participado dos testes da rede neural, além de verificado a veracidade das respostas dadas a eles. Descobriu-se que muitas vezes os participantes do teste não têm tempo suficiente para verificar as respostas de Bard, e é por isso que eles precisam adivinhar aleatoriamente.

Fonte da imagem: Google

Por exemplo, os funcionários da Appen, que estão ajudando o Google a testar o algoritmo Bard, disseram aos representantes da mídia sob condição de anonimato que não têm tempo suficiente para avaliar de forma significativa as respostas dadas pelo bot AI. As instruções recebidas diziam que, durante o processo de teste, é necessário preparar uma solicitação para o chatbot e, após receber duas respostas, escolher a resposta mais coerente e correta. Eles também têm a opção de adicionar um comentário para explicar por que uma determinada opção foi selecionada.

Os testadores observam que leva vários minutos para processar cada solicitação, mas às vezes apenas 60 segundos são fornecidos para isso. Muitas vezes é muito difícil dar uma avaliação correta da resposta recebida do chatbot durante esse período, especialmente nos casos em que a solicitação está relacionada a um tópico desconhecido. O pagamento por esse trabalho é calculado com base no tempo alocado para cada tarefa. Para não perder dinheiro, os testadores precisam concluir as tarefas dentro do tempo estipulado, mesmo nos casos em que não têm certeza de qual das respostas propostas pelo algoritmo de IA é mais precisa. Simplificando, para não perder dinheiro, os participantes do teste são forçados a realizar tarefas aleatoriamente, pois não têm tempo suficiente para verificar qualitativamente as respostas de Bard.

A fonte observa que os funcionários dos contratados do Google estão cada vez mais pedindo melhores condições de trabalho. Em fevereiro, os participantes do teste beta do sistema Bard entregaram uma petição à administração do Google pedindo salários mais altos. Os funcionários da Appen que testam o Bard ganham entre US$ 14 e US$ 14,50 por hora.