Comparação de execuções
Compare duas execuções lado-a-lado: scores agregados, delta de heatmap MITRE e mudanças no ciclo de vida das descobertas. A superfície de replay para validação de mudanças.
Pontos-chave
- Inputs são dois run_ids; a resposta carrega deltas de score, mudanças de cobertura por técnica e diffs de descoberta.
- Descobertas classificam como nova (só em B), resolvida (só em A) ou regressão (ainda presente + mesma severidade).
- Deltas de fragilidade são expostos à parte: uma melhora literal que perde cobertura de paráfrase fica visível.
- Disponível na UI em /runs/compare?ids=A,B e na API em GET /v1/runs/{a}/compare/{b}.
01
Comparações práticas
- Pré-deploy vs. pós-deploy de uma mudança de prompt: confirma que um hardening pousou e não abriu novos gaps.
- Ontem à noite vs. hoje à noite: expõe regressão silenciosa no comportamento upstream do modelo.
- Produção vs. staging: quantifica o gap de defesa entre ambientes.
02
O que não faz
- Não é uma view longitudinal de tendência: compara duas execuções específicas, não uma janela.
- Não faz merge nem rerun: produza ambos os inputs a partir de execuções reais antes de comparar.
- Compara dentro de um tenant apenas; comparação cross-tenant não é exposta intencionalmente.