A Gramener, empresa especializada na análise de dados para resolver problemas complexos de negócios, conduziu um estudo mostrando que os modelos de IA selecionam números aleatórios como os humanos.
Fonte da imagem: geralt/Pixabay
Durante o experimento, Gramener pediu a vários grandes chatbots baseados em um modelo de linguagem grande (LLM) para escolher um número aleatório de 0 a 100. Acontece que todos os três modelos testados tinham um número “favorito”, que era sempre sua resposta em o modo mais determinístico, e que foi chamado com mais frequência mesmo em “temperaturas mais altas”, configuração que aumenta a variabilidade das respostas do modelo.
Descobriu-se que o modelo OpenAI GPT-3.5 Turbo gosta do número 47, embora anteriormente gostasse do número 42 – um número que ficou famoso pelo escritor inglês Douglas Adams na série de romances Guia do Mochileiro das Galáxias. Claude 3 Haiku da Anthropic nomeou o número 42, e o Google Gemini também o chamou de 42.
O que é ainda mais interessante é que todos os três modelos mostraram preconceito humano na escolha de outros números, mesmo em “altas temperaturas”. Todos os modelos de IA tentaram evitar números pequenos e grandes. O modelo Claude 3 Haiku nunca deu números maiores que 87 ou menores que 27, e mesmo estes eram desvios. Números com dois dígitos idênticos também foram cuidadosamente evitados: não existiam 33, 55 ou 66, mas chamavam 77 (terminando com o número 7, que as pessoas costumam chamar). Quase não havia números redondos – embora Gêmeos uma vez tenha escolhido 0 em sua “temperatura mais alta”.
O comportamento dos modelos de IA é simples de explicar. Eles não sabem o que é aleatoriedade e são guiados na sua escolha pelos conhecimentos adquiridos durante o processo de aprendizagem, repetindo o que as pessoas mais frequentemente escreveram em resposta ao pedido “Escolha um número aleatório”. Quanto mais frequentemente um número aparecia nas respostas, mais frequentemente o modelo o repetia.
As pessoas quase nunca escolhem 1 ou 100. Múltiplos de 5 são extremamente raros em suas respostas, assim como números com dígitos repetidos, como 66 e 99. Os números não parecem “aleatórios” nas escolhas das pessoas porque incorporam para elas alguma qualidade para si mesmas. : pequeno, grande, distinto. As pessoas também costumam escolher números que terminam em 7, geralmente em algum lugar no meio do intervalo.
Sempre que você interagir com sistemas de IA, lembre-se de que eles foram treinados para agir como os humanos. Os resultados parecem humanos porque são obtidos diretamente de conteúdo gerado por humanos, embora reprojetados para a experiência do usuário.