Os agentes de código convergiram

Pequenas diferenças no leaderboard viraram ranking. Não deveriam.

Um paper de 15 de setembro de 2026 auditou 254 submissões do SWE-bench — sem rodar modelo nenhum, apenas analisando o que já estava publicado.

No split Verified, os dois primeiros resolvem 396 de 500 instâncias cada um. Os dez primeiros compartilham 285 sucessos e 51 falhas. Sobram 164 instâncias que de fato separam um do outro.

"O ranking do SWE-bench deixou de ordenar os melhores. Quem escolhe ferramenta pelo lugar no leaderboard está olhando um número que já não significa o que parecia significar."

A sobreposição é alta. O median nesting é de 0,935 nos conjuntos de solução da fronteira — bem acima do que o score sozinho sugeriria (0,774). Em outras palavras: os líderes acertam quase as mesmas coisas.

O score também depende do par modelo + scaffold. Dentro do mesmo modelo, a variação de scaffold chega a 29,8 pontos percentuais. O spread dos trinta primeiros no ranking geral é de 8,8. Ou seja: trocar a estrutura de orquestração mexe mais no número do que a diferença "entre os melhores" que o leaderboard exibe.

A Convergência em Números

O estudo analisou quatro splits do SWE-bench. O Verified é o mais usado como referência pública.

• Verified (134 submissões): Os dez primeiros têm média de 77,3% de resolução. 285 instâncias são resolvidas por todos e 51 são falhas compartilhadas. Restam 164 instâncias onde há divergência real.
• Lite (299 instâncias): 73 instâncias resolvidas por todos, 65 falhas compartilhadas e 161 com alguma divergência.
• Teste Estatístico: O teste de McNemar pareado não separa nenhum dos 29 pares adjacentes no top-30 do Verified (alpha=0,05). No split Test, maior, 14 de 23 pares são separados. A diferença é de resolução do benchmark, não de capacidade dos sistemas.

O Problema do Scaffold

O score depende da combinação modelo + scaffold + orçamento de tokens + número de tentativas. O número do leaderboard não separa o que é capacidade do modelo do que é capacidade da estrutura de orquestração.

A análise da Digital Applied no SWE-bench Pro exemplifica essa distorção: três sistemas diferentes rodando o mesmo Claude Opus 4.5 produziram uma variação de 50,2% a 55,4% — 5,2 pontos de diferença causados exclusivamente pelo scaffold. Além disso, a diferença entre o score reportado pelo vendor e o score padronizado pode chegar a 17,3 pontos.

Os Testes do Benchmark São Fracos

Estudos recentes revelam que os números do SWE-bench estão inflados por testes insuficientes:

Protocolo de Auditoria: O que medir em vez do ranking

O paper propõe um protocolo em cinco passos para substituir a leitura ingênua do score agregado:

1. Perfilar resultados compartilhados: Mapear quantas instâncias todos resolvem, quantas ninguém resolve e quantas realmente separam os sistemas.
2. Testar diferenças pareadas: Aplicar o teste de McNemar para verificar se a diferença entre dois sistemas é estatisticamente significativa.
3. Reportar sensibilidade de agrupamento: Reconhecer os agrupamentos (tiers) descritivos em vez de focar na ordenação fina.
4. Estimar o orçamento de instâncias: Calcular o volume de testes necessário para separar sistemas com determinada diferença de capacidade.
5. Reportar proveniência modelo-scaffold: Especificar a estrutura de orquestração utilizada para permitir comparações reais.

O que fazer na prática

• Use o score apenas como filtro de tier: "Está acima de 70%?" é uma pergunta útil. "É o número 3 ou o número 5?" não é.
• Meça no seu próprio repositório: O SWE-bench utiliza issues de projetos Python open-source. O seu código, restrições e regras de negócio não estão no benchmark.
• Priorize custo, estabilidade e scaffold: Valide o comportamento do agente sob o seu scaffold, suas restrições operacionais e seu orçamento de tokens.
• Foque na orquestração e governança: Como os líderes acertam quase as mesmas coisas, a escolha da estrutura de orquestração e do processo de supervisão tornou-se mais crítica do que a escolha do modelo em si.

O benchmark continua útil para separar sistemas fracos de fortes. O que ele já não consegue fazer é ordenar os melhores entre si. Times que tratam o número do leaderboard como verdade absoluta otimizam para o benchmark; times que entendem a convergência escolhem ferramentas pelos critérios do seu próprio contexto.

📖 Leituras Recomendadas e Governança

Quem quiser aprofundar a avaliação e governança de agentes de IA encontra o tema tratado de forma estruturada na série Engenharia de Software Assistida por IA, com destaque para o Volume VI — Supervisão e Auditoria de Código Gerado por IA e o Volume VIII — Engenharia de Contexto e Governança de IA.

💡 Destaques:

• 🏷️ Cupom de 30% OFF nos eBooks: LEIA30
• 📖 Disponível também no Kindle Unlimited!

👉 Série eBook completa:

https://link.amazon/B09KdiptI

📖 Livros Físicos (capa comum):

• 📘 Volume I - A Nova Realidade da Engenharia de Software
• 📙 Volume II - Fundamentos que a IA Não Substitui
• 📗 Volume III - Engenharia de Requisitos na Era da IA
• 📕 Volume IV - Arquitetura e Design de Soluções na Era da IA
• 📓 Volume V - Delegação Técnica para IA
• 📔 Volume VI - Supervisão e Auditoria de Código Gerado por IA
• 📒 Volume VII - Aplicações Reais
• 📗 Volume VIII - Engenharia de Contexto e Governança de IA

🔗 Página do autor na Amazon:

https://link.amazon/B0igkvwcK

📚 Fontes da Pesquisa

1. Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead – arXiv, setembro/2026. Auditou 254 submissões do SWE-bench.
2. SWE-ABS: Adversarial Benchmark Strengthening – arXiv, março/2026. Reavaliação e fortalecimento de testes no SWE-bench Verified.
3. UTBoost – ACL 2025. Identificação de testes insuficientes e patches incorretos aprovados.
4. OpenAI Audit – Auditoria de 138 problemas frequentemente falhados.
5. SWE-bench Pro Leaderboard – Scale AI, junho/2026. Avaliação de impacto de scaffolds utilizando Claude Opus 4.5.

#EngenhariaDeSoftware #SWEBench #AgentesDeIA #Benchmarks #Avaliacao #GovernancaIA #CodeReview #FuturoDaEngenharia