Os modelos generativos de IA estão a capturar a imaginação de muitos líderes empresariais, prometendo automação e substituindo milhões de empregos. No entanto, cientistas do Instituto de Tecnologia de Massachusetts (MIT) alertam que a IA, embora forneça respostas plausíveis, na verdade não tem compreensão de sistemas complexos e está limitada a previsões. Em tarefas do mundo real, seja raciocínio, navegação, química ou jogos, a IA apresenta limitações significativas.
Fonte da imagem: HUNGQUACH679PNG/Pixabay
Os modelos modernos de grandes linguagens (LLMs), como o GPT-4, dão a impressão de uma resposta cuidadosa a consultas complexas do usuário, quando na verdade eles apenas prevêem com precisão as palavras mais prováveis de serem colocadas ao lado das anteriores em um determinado contexto. Para testar se os modelos de IA podem realmente “compreender” o mundo real, os cientistas do MIT desenvolveram métricas concebidas para testar objectivamente a sua inteligência.
Um dos objetivos do experimento era avaliar a capacidade da IA de gerar instruções passo a passo para navegar pelas ruas de Nova York. Embora as IAs generativas exibam algum grau de aprendizagem “implícita” das leis do mundo que as rodeia, isso não equivale à verdadeira compreensão. Para melhorar a precisão da avaliação, os pesquisadores criaram métodos formalizados que permitem analisar o quão corretamente a IA percebe e interpreta situações reais.
O estudo do MIT focou nos Transformers, um tipo de modelo generativo de IA usado em serviços populares como o GPT-4. Os transformadores são treinados em vastas matrizes de dados de texto, o que lhes permite alcançar alta precisão na seleção de sequências de palavras e criar textos confiáveis.
Para explorar ainda mais as capacidades de tais sistemas, os cientistas usaram uma classe de problemas conhecida como Autômato Finito Determinístico (DFA), que abrange áreas como lógica, navegação geográfica, química e até estratégia em jogos. No experimento, os pesquisadores escolheram duas tarefas diferentes – dirigir um carro nas ruas de Nova York e jogar Otelo – para testar a capacidade da IA de compreender corretamente as regras subjacentes.
Como observou Keyon Vafa, pós-doutorando da Universidade de Harvard, o objetivo principal do experimento era testar a capacidade dos modelos de IA de reconstruir a lógica interna de sistemas complexos: “Precisávamos de bancadas de teste onde soubéssemos exatamente como era um modelo do mundo. Agora podemos pensar rigorosamente sobre o que significa restaurar este modelo de mundo.”
Os resultados dos testes mostraram que os transformadores são capazes de fornecer rotas corretas e sugerir movimentos corretos no jogo Othello quando as condições das tarefas são definidas com precisão. No entanto, ao adicionar factores complicadores, como os desvios de Nova Iorque, os modelos de IA começaram a gerar opções de rotas contra-intuitivas, sugerindo viadutos aleatórios que na realidade não existiam.
O estudo do MIT mostrou as limitações fundamentais dos modelos generativos de IA, especialmente nas tarefas que exigem flexibilidade mental e capacidade de adaptação às condições do mundo real. Embora os modelos de IA existentes possam ser impressionantes na sua capacidade de gerar respostas plausíveis, continuam a ser apenas ferramentas preditivas e não sistemas inteligentes completos.