Collinear AI publica o CWE-bench v2 com 100 tarefas de segurança e ranking de modelos

A Collinear AI abriu o CWE-bench v2, conjunto público de 100 tarefas em que um agente recebe um repositório open source real e deve encontrar e corrigir uma falha de segurança sem quebrar a funcionalidade existente. As tarefas cobrem 91 CWEs e a pontuação é totalmente programática, com verificação determinística e reproduzível; há também um conjunto reservado para acompanhar tarefas que nenhum modelo viu. Entre os 11 modelos avaliados, o Gemini 4 Argon lidera com 67,8% de pass@1 e 81,0% de pass@4, à frente do Claude Opus 5.5 (67,3% e 78,0%), e 95 tarefas são resolvidas por ao menos um modelo, mas o líder falha 19% do conjunto em todas as tentativas. Na fronteira de custo, o DeepSeek V4.1 Flash alcança 57,0% de pass@1 a US$ 0,04 por rollout, o Opus soma dez pontos a US$ 1,83 e o Gemini chega a US$ 3,92. O conjunto, o avaliador e o harness são abertos, e as tarefas rodam pelo Harbor direto do repositório no Hugging Face, com acesso sujeito a aprovação.