Cálculo da cobertura
O cálculo usa evidência canônica, validada por esquema, de execuções concluídas. Saídas do modelo e do juiz não são presumidas determinísticas; evidência ambígua ou incompleta permanece N/A.
Pontos-chave
- Cada achado preserva sua confiança numérica, as referências de evidência e a linhagem usada no cálculo.
- Somente uma execução concluída cuja linhagem canônica possa ser recalculada contribui para uma pontuação conclusiva.
- Na cobertura LLM atual, categoria testada vale 1, corrigida vale 0,7 e aberta ou não testada vale 0.
- Robustez a variações de redação é uma análise pareada separada e permanece N/A sem medição real do mesmo escopo com entradas literais e parafraseadas.
01
Estados da cobertura
- Testada: evidência conclusiva exercitou a categoria sem achado aberto.
- Corrigida: evidência conclusiva registra achados anteriores que já foram encerrados.
- Aberta: ao menos um achado apto para decisão segue aberto; não testada significa que nenhuma evidência conclusiva exercitou a categoria.
02
Lendo o score
- Leia o estado da avaliação e a cobertura da evidência antes de interpretar qualquer agregado.
- Não deduza robustez a variações de redação a partir de uma única execução ou de um registro histórico de pesquisa.
- Limites de requisição, autorização e outros controles estruturais ainda exigem evidência conclusiva no escopo testado pelo tenant.