Comparação operacional entre duas execuções
Compare duas execuções concluídas e compatíveis sem apresentar o par como experimento A/B estatístico.
01
Configuração
- Execute o mesmo catálogo de cenários no mesmo escopo de alvo antes e depois de uma mudança controlada.
- Escolha duas execuções concluídas do mesmo tenant, alvo, ambiente, perfil, profundidade, tipo de alvo e escopo de cenários LLM.
- Abra a comparação em `/runs/compare?a=A&b=B`.
02
Lendo o diff
- Comece pelo veredito de comparabilidade da API; escopo incompatível ou evidência parcial não produz delta numérico.
- Quando comparáveis, examine os deltas canônicos de pontuação e os achados novos, persistentes ou resolvidos com suas evidências.
- Essa visão de duas execuções é evidência operacional de reexecução, não um experimento A/B nem um resultado de significância estatística.