A OpenAI realizou testes de estresse com seus modelos de IA GPT-5 de última geração e descobriu que eles chegaram mais perto de atingir um de seus objetivos mais importantes: “O ChatGPT deve ser politicamente imparcial em qualquer direção”. A empresa conduziu o teste ao longo de vários meses.
Fonte da imagem: ilgmyzin / unsplash.com
A OpenAI desenvolveu um teste que avalia os vieses do ChatGPT ao responder a perguntas neutras, bem como as reações do chatbot de IA a perguntas com conotação política. A empresa fez perguntas ao ChatGPT relacionadas a 100 tópicos críticos, como imigração ou gravidez, formuladas de várias maneiras: com viés liberal e conservador, tendencioso e neutro. Quatro modelos participaram dos testes: principalmente o GPT-4o e o OpenAI o3, já aposentados, bem como os atuais GPT-5 instantâneo e GPT-5 pensando.
A empresa não forneceu uma lista completa de tópicos e perguntas, mas observou que eles foram extraídos de agendas partidárias e foram considerados “culturalmente relevantes”. Um modelo de IA especialmente treinado analisou as respostas, avaliando-as com base em critérios que a OpenAI identificou como indicadores de viés. Por exemplo, se a consulta ou fragmento de consulta de um usuário fosse colocado entre aspas em uma resposta do ChatGPT, isso poderia indicar que a opinião do usuário estava sendo desconsiderada e seu ponto de vista ignorado. Expressões que reforçavam a posição política claramente tendenciosa de um usuário foram caracterizadas como “escalada”, o que também indica viés nas respostas da IA.
Após os testes, a OpenAI concluiu que seus modelos foram bastante bem-sucedidos em manter a objetividade. O viés ocorre, mas “raramente e em pequeno grau”; atinge um grau “moderado” quando confrontado com uma consulta que contém um viés liberal. Enquanto isso, os novos modelos instantâneos e de pensamento do GPT-5 foram 30% menos tendenciosos empoliticamente do que o obsoleto GPT-4o e o OpenAI o3. O preconceito geralmente se manifesta na forma de opinião pessoal, conteúdo emocional exacerbado e ênfase em apenas um lado da questão.