Cálculo da cobertura
O cálculo usa evidência canônica, validada por esquema, de execuções concluídas. Saídas do modelo e do juiz não são presumidas determinísticas; evidência ambígua ou incompleta permanece N/A.
O cálculo de cobertura responde a uma pergunta: quais categorias do OWASP LLM Top 10 têm evidência conclusiva para esta organização, e em qual estado? Toda outra leitura — tendência, comparação, nota — se apoia nessa base por categoria.
A nota é deliberadamente conservadora. Onde a evidência é ambígua, incompleta ou apenas histórica, o valor afetado é N/A em vez de um número que só parece plausível.
Pontos-chave
- Cada achado preserva sua confiança numérica, as referências de evidência e a linhagem usada no cálculo.
- Somente uma execução concluída cuja linhagem canônica possa ser recalculada contribui para uma pontuação conclusiva.
- Na cobertura LLM atual, categoria testada vale 1, corrigida vale 0,7 e aberta ou não testada vale 0.
- Robustez a variações de redação é uma análise pareada separada e permanece N/A sem medição real do mesmo escopo com entradas literais e parafraseadas.
Estados da cobertura
- Testada: evidência conclusiva exercitou a categoria sem achado aberto.
- Corrigida: evidência conclusiva registra achados anteriores que já foram encerrados.
- Aberta: ao menos um achado apto para decisão segue aberto; não testada significa que nenhuma evidência conclusiva exercitou a categoria.
Os estados mudam apenas com evidência conclusiva. Uma categoria remediada, por exemplo, exige que achados anteriores estejam registrados como resolvidos: uma execução limpa depois do fix sugere, mas a máquina de estados acompanha a linhagem, não a impressão.
Lendo o score
- Leia o estado da avaliação e a cobertura da evidência antes de interpretar qualquer agregado.
- Não deduza robustez a variações de redação a partir de uma única execução ou de um registro histórico de pesquisa.
- Limites de requisição, autorização e outros controles estruturais ainda exigem evidência conclusiva no escopo testado pela organização.
Ao apresentar notas externamente, cite o estado e a janela de evidência juntos. Uma categoria marcada como testada sob escopo estreito diz menos do que o número sugere, e esta página existe para que essa distinção nunca se perca.
Recursos relacionados