Comparar execuções
Compare duas execuções de escopo compatível usando deltas canônicos de score, cobertura de evidência e mudanças no ciclo de vida dos achados.
A comparação de execuções coloca duas execuções de escopo compatível lado a lado: deltas de nota canônicos, cobertura de evidência e o ciclo de vida por achado entre elas. Ela responde às perguntas que os times realmente fazem — o endurecimento entrou, algo regrediu, qual a largura do gap de staging.
A comparação é deliberadamente estreita, e esta página traça a linha: duas execuções específicas, não uma janela de tendência.
Pontos-chave
- As entradas são o ID da execução atual e uma referência explícita; a resposta traz deltas de score e diferenças entre achados quando a evidência é comparável.
- Achados classificam como nova (só em B), resolvida (só em A) ou regressão (ainda presente + mesma severidade).
- A API só retorna deltas de pontuação e achados quando as duas execuções têm escopo compatível e linhagem apta para decisão; nos demais casos, a comparação é inconclusiva.
- Disponível na interface em /runs/compare?a=A&b=B e na API em GET /v1/runs/{current}/diff?baseline={baseline}.
Comparações práticas
- Antes e depois da implantação de uma mudança nas instruções: confirma que uma proteção entrou em vigor e não abriu novas brechas.
- Ontem à noite e hoje à noite: expõe regressão silenciosa no comportamento anterior do modelo.
- Produção e homologação: quantifica a diferença de defesa entre ambientes.
As comparações recorrentes: antes e depois do deploy de uma mudança de instruções, confirmando que o fix entrou sem novas regressões; a de ontem à noite contra a de hoje, revelando drift silencioso do modelo de origem; produção contra staging, quantificando o gap de defesa entre ambientes.
O que não faz
- Não é uma view longitudinal de tendência: compara duas execuções específicas, não uma janela.
- Não faz merge nem rerun: produza ambos os inputs a partir de execuções reais antes de comparar.
- Compara dentro de uma organização apenas; comparação cross-organização não é exposta intencionalmente.
Ela não mescla nem reexecuta nada — as duas entradas precisam vir de execuções reais. Não é uma view longitudinal e permanece dentro da organização: comparação entre organizações propositalmente não é exposta.
Recursos relacionados