Comparações A/B
Compare duas execuções lado a lado: mesmos cenários, system prompts ou modelos diferentes.
01
Configuração
- Execute o mesmo scenario catalogue contra dois endpoints.
- Marque cada execução com uma label `comparison_group`.
- Abra a view de comparação em `/runs/compare?ids=...`.
02
Lendo o diff
- Delta de coverage por categoria é a métrica principal.
- Delta de fragilidade importa mais do que cobertura agregada.
- Significância estatística aparece quando n≥30 por cenário.