Um problema comum com grandes modelos de linguagem usados em chatbots de IA são os erros de confiança, ou seja, mentiras. Por exemplo, até recentemente, o ChatGPT não conseguia responder corretamente à pergunta sobre quantos “R” existem na palavra “strawberry” (morango).
Fonte da imagem: Levart_Photographer/unsplash.com
Por muito tempo, o chatbot forneceu uma resposta incorreta, afirmando que a letra R não aparece três vezes na palavra “morango”. Outros modelos de IA frequentemente apresentavam problemas semelhantes.
Outro erro comum: em resposta à pergunta “Quero lavar meu carro hoje, mas o lava-rápido fica a apenas 50 metros de distância. Devo ir a pé?”, o chatbot ChatGPT frequentemente recomendava ir a pé, apesar da óbvia inconsistência lógica.
Fonte da imagem: 9to5google.com
Uma das maiores preocupações, como escreve o 9to5google.com, é a frequência com que as ferramentas de IA mentem de forma consistente para os usuários. Se a informação estiver incorreta, o chatbot pode não perceber, e se o erro for apontado, a IA pode persistir e continuar cometendo erros enquanto afirma estar correta. Esse problema é visto como um perigo das ferramentas de IA, além do fato de que tais respostas são simplesmente irritantes, considerando os recursos consumidos pela IA.
Hoje, a OpenAI relatou que o ChatGPT consegue “finalmente” responder corretamente a perguntas sobre o número de “R”s na palavra “strawberry” (morango) e se é preciso ir ao posto de gasolina para abastecer o carro. No entanto, como observou o 9to5google.com, há suspeitas de que essas possam ser decisões pré-programadas, já que o chatbot continua cometendo erros em outros casos com base na mesma lógica. Por exemplo, quando perguntado: “Quantos ‘R’s’ existem na palavra ‘cranberry’?” A resposta é sempre a mesma: “Há um R em cranberry”, o que, obviamente, está incorreto.
Portanto, o problema persiste, mesmo após a OpenAI ter anunciado com orgulho sua solução.