A IA está ficando mais inteligente – um chatbot baseado em GPT-4 passa no teste de Turing

No mundo de hoje, as pessoas interagem com a inteligência artificial online não apenas com mais frequência do que nunca, mas também com mais frequência do que pensam. As redes neurais estão se tornando cada vez mais avançadas e muitas vezes não é tão fácil distingui-las de uma pessoa. Para confirmar isso, cientistas do Instituto de Engenheiros Elétricos e Eletrônicos (IEEE) realizaram um estudo no qual foi solicitado aos entrevistados que se comunicassem com quatro agentes, entre os quais havia apenas uma pessoa.

Fonte da imagem: Copiloto

O objetivo do estudo era determinar se os participantes conseguiam distinguir um interlocutor sintético de uma pessoa real. O estudo dos cientistas é uma interpretação moderna do teste, proposto pelo famoso matemático Alan Turing em 1950. O teste é considerado aprovado se o algoritmo de IA, no processo de comunicação com uma pessoa, puder fazê-la pensar que outra pessoa está conversando com ela.

Os testes envolveram 500 pessoas, que durante algum tempo conversaram alternadamente com quatro agentes, um dos quais era uma pessoa, e mais três eram produtos de software, como o interlocutor virtual ELIZA escrito na década de 60 do século passado e modernos chatbots construídos em baseado nos grandes modelos de linguagem GPT-3.5 e GPT-4 (este último também é a base do popular bot de IA ChatGPT).

Os entrevistados conversaram com cada agente por cinco minutos, após os quais tiveram que dizer se achavam que estavam falando com um humano ou com um chatbot. Como resultado, descobriu-se que 54% dos participantes do teste confundiram o GPT-4 com uma pessoa. ELIZA, que não possui um grande modelo de linguagem e arquitetura de rede neural em seu arsenal, foi reconhecido por uma pessoa apenas em 22% dos casos. O algoritmo baseado em GPT-3.5 foi reconhecido como uma pessoa em 50% dos casos, e a pessoa foi identificada em 67% dos casos.

«As máquinas podem raciocinar reunindo justificativas plausíveis para as coisas depois do fato, assim como os humanos fazem. Eles podem estar sujeitos a preconceitos cognitivos, podem ser manipulados e tornar-se cada vez mais enganosos. Tudo isso significa que os sistemas de IA expressam falhas e peculiaridades humanas, o que os torna mais humanos do que soluções semelhantes anteriores que tinham apenas uma lista de respostas prontas em seu arsenal”, comentou um dos pesquisadores sobre os resultados do trabalho.