AI models flub these intelligence tests. Can you fare any better?

Nos últimos anos, os modelos de inteligência artificial (IA) têm avançado significativamente em sua capacidade de resolver quebra-cabeças e jogos, uma área que sempre foi central para o desenvolvimento da IA. Desde a popularização do termo "aprendizado de máquina" por Arthur Samuel, em 1959, com um algoritmo para jogar damas, até os complexos desafios de xadrez e Go, os desenvolvedores têm utilizado esses testes para avaliar o progresso das máquinas. No entanto, apesar dos avanços, os modelos atuais ainda enfrentam dificuldades em resolver certos tipos de problemas, o que revela tanto suas limitações quanto as diferenças fundamentais entre a cognição humana e a artificial. ### Desempenho em Quebra-Cabeças Recentemente, um estudo de 2024 realizado por cientistas da Universidade de Columbia revelou que os melhores modelos de IA conseguiam resolver apenas 18% dos quebra-cabeças do New York Times, conhecidos como "Connections". Contudo, em um espaço de tempo relativamente curto, esses modelos conseguiram melhorar drasticamente, chegando a resolver esses desafios com precisão quase perfeita. Essa evolução rápida destaca a capacidade dos modelos de aprender e se adaptar, mas também evidencia que eles ainda falham em resolver problemas que exigem raciocínio mais sutil, especialmente em quebra-cabeças visuais. ### Raciocínio Espacial Um dos domínios onde os humanos ainda têm uma vantagem clara é o raciocínio espacial. Os testes de rotação mental, que desafiam os indivíduos a identificar se diferentes imagens representam o mesmo objeto sob ângulos distintos, são um exemplo claro disso. Embora os modelos de linguagem tenham a capacidade de analisar entradas visuais, eles ainda não conseguem manipular objetos 3D da mesma forma que profissionais como arquitetos e engenheiros mecânicos. Essa limitação é um indicativo de que, apesar do avanço em muitos aspectos, a compreensão espacial da IA ainda é rudimentar. ### Memória e Adaptabilidade Os modelos de linguagem, por outro lado, possuem uma memória extraordinária, tendo sido expostos a um volume imenso de informações durante o treinamento. Isso os torna competitivos em trivia, mas também pode ser uma desvantagem. Quando um quebra-cabeça é semelhante a algo que o modelo já viu, ele pode ignorar diferenças cruciais e responder com base no que memorizou. Um estudo de 2024 sobre os quebra-cabeças "Knights and Knaves" demonstrou que, embora os humanos consigam identificar nuances, os modelos frequentemente falham em perceber as sutilezas que diferenciam as situações. ### Raciocínio Abstrato e Visual Os modelos de IA também enfrentam desafios em problemas que exigem raciocínio abstrato. O benchmark ARC-AGI, que testa a capacidade de inferir regras gerais a partir de exemplos, mostra que os modelos se saem melhor quando recebem os dados em formato numérico, em vez de visual. Isso sugere que, mesmo quando os modelos respondem corretamente, eles podem estar utilizando regras complexas e não generalizáveis, enquanto os humanos tendem a aplicar conceitos visuais simples. Essa diferença na abordagem é crucial para entender as limitações da IA em comparação com a cognição humana. ### Conclusão Embora os modelos de IA tenham feito progressos notáveis em várias áreas, suas falhas em resolver quebra-cabeças complexos e visuais revelam que ainda há um longo caminho a percorrer. A capacidade de adaptação e memória dos modelos é impressionante, mas a compreensão intuitiva e a manipulação de conceitos espaciais continuam a ser um desafio. À medida que a tecnologia avança, será interessante observar como esses modelos evoluem e se aproximam da cognição humana em áreas que ainda são desafiadoras para eles.