Reading Zhipu’s GLM-5.3 results past the headline number

Recentemente, a Zhipu, uma empresa de tecnologia de Beijing que também opera sob o nome Z.ai, lançou o modelo GLM-5.3, focado em programação. A empresa divulgou resultados que a posicionam como uma competidora significativa no cenário global de inteligência artificial, especialmente em comparação com modelos americanos. Um dos destaques da divulgação foi a performance do GLM-5.3 em encontrar vulnerabilidades de software, onde obteve uma pontuação de 84,5% no benchmark CyberGym, superando os 83,8% do modelo Mythos 5 da Anthropic e os 83,6% do GPT-5.6 Sol da OpenAI. Essa informação gerou manchetes que afirmavam que um modelo chinês estava superando os americanos na identificação de falhas de segurança. Entretanto, a análise mais detalhada dos resultados revela nuances importantes. O desempenho do GLM-5.3 no CyberGym é apenas uma parte do quadro geral. A Zhipu também apresentou resultados em outros dois benchmarks: o ExploitBench e o ExploitGym, onde o GLM-5.3 ficou atrás dos modelos da Anthropic. No ExploitBench, que avalia a capacidade de raciocínio sobre vulnerabilidades reais, o GLM-5.3 obteve 54,4%, enquanto Mythos 5 e GPT-5.6 Sol alcançaram 78,0% e 76,5%, respectivamente. No ExploitGym, que mede quantas tarefas de exploração um modelo consegue completar em um tempo fixo, o GLM-5.3 completou 105 tarefas em duas horas, comparado a 181 do Mythos 5. Esses resultados indicam que, embora o GLM-5.3 tenha se destacado em um teste específico, ele ainda está em desvantagem em tarefas mais complexas que envolvem a exploração de vulnerabilidades. A Zhipu reconhece essa realidade em sua divulgação, afirmando que, à medida que os testes se afastam da descoberta de falhas e se aproximam da exploração, seu modelo fica mais atrás em comparação com os concorrentes. Além dos benchmarks, a Zhipu também colaborou com equipes de segurança na China para avaliar seu modelo em código real, identificando 2.436 vulnerabilidades em 269 projetos de código aberto. A severidade dessas falhas variou, com 107 sendo classificadas como críticas. No entanto, a empresa não especificou quantas dessas vulnerabilidades eram desconhecidas anteriormente, o que é uma informação crucial para avaliar a real capacidade do modelo. A confusão em torno dos resultados se deve também à comparação de diferentes modelos da Anthropic em diferentes benchmarks, o que pode levar a interpretações errôneas sobre o desempenho relativo. A Zhipu utilizou uma metodologia que envolve a avaliação de seu modelo em várias tarefas, mas é importante notar que a comparação foi feita usando software de agentes americanos, o que pode influenciar a percepção sobre a competitividade do modelo chinês. Em suma, enquanto o GLM-5.3 apresenta resultados promissores em um teste específico de descoberta de vulnerabilidades, ele ainda enfrenta desafios significativos em tarefas mais complexas de exploração. A transparência da Zhipu em reconhecer essas limitações é um ponto positivo, mas a falta de clareza sobre a origem das vulnerabilidades identificadas e a comparação de modelos pode gerar confusão no mercado. O cenário é dinâmico, e a evolução dos modelos de IA, especialmente em segurança cibernética, será um aspecto a ser monitorado de perto nos próximos meses.