Compare duas execuções equivalentes para ver o que uma mudança de sistema realmente fez: quais achados apareceram, quais foram resolvidos e como as notas de decisão se moveram. A página de comparação faz a aritmética; este guia mantém as entradas honestas.
Tudo o que vem depois depende do par ser comparável — mesmo alvo, mesmo template, mesmo conjunto de cenários. Se o escopo mudou, nomeie a diferença antes de interpretar qualquer coisa.
1. Escolha duas execuções
- Abra `/runs` e copie os identificadores da execução de referência e da execução feita após a mudança.
- Acesse `/runs/compare?a=A&b=B` para ver mudanças nos scores aptos para decisão, na cobertura de evidência e nos achados.
- Prefira execuções com o mesmo alvo e o mesmo conjunto de cenários. Se as entradas forem diferentes, registre essa limitação antes de interpretar a comparação.
Escolha uma execução anterior como referência e uma posterior como candidata, então abra a comparação. Execuções com alvos ou conjuntos de cenários diferentes produzem números que favorecem qualquer narrativa — descreva as mudanças de escopo explicitamente.
2. Leia o veredito
- Comece pelo veredito de comparabilidade; evidência incompatível ou parcial não produz delta numérico.
- Achados novos na execução B exigem investigação; achados resolvidos indicam melhora apenas no conjunto que foi testado novamente — replay operacional, não um experimento A/B.
- Em uma execução elegível do Starter+, exporte a comparação com o pacote de evidências para manter o escopo, os resultados e as limitações juntos no histórico da mudança.
Comece pelo veredito de comparabilidade da API: evidência incompatível ou parcial não produz delta numérico, por design. Leia os achados novos, persistentes e resolvidos individualmente — os rótulos comparam estas duas execuções, não todos os resultados possíveis. Numa execução elegível Starter+, a comparação pode viajar com o pacote de evidências.