Cobertura OWASP LLM
Esta visão apresenta o catálogo atual do produto: 32 testes de ataque nas dez categorias (17 do corpus-base congelado + 15 da expansão; commit 8752ede). Os estados por organização vêm somente de evidência conclusiva e persistida. A calibração separada da v0.5.3 é um contexto metodológico histórico, não uma medição do motor atual.
A cobertura mapeia o catálogo atual de testes sobre o OWASP LLM Top 10 e declara, por organização, quais categorias têm evidência conclusiva e quais seguem sem teste.
Duas linhas do tempo importam e não devem ser confundidas: a calibração arquivada do corpus congelado, usada em pesquisa metodológica, e o catálogo atual que atende as organizações hoje. Esta página nomeia as duas e diz o que a view de cobertura não é.
Pontos-chave
- O corpus atual do produto reúne 32 testes de ataque nas dez categorias OWASP LLM, de LLM01 a LLM10 (commit de expansão do corpus 8752ede).
- Estados por organização isolada e cobertura agregada só aparecem quando a evidência de execuções concluídas é conclusiva e sua linhagem persistida pode ser reproduzida.
- A referência metodológica arquivada cobre um corpus congelado de 17 testes de ataque em 5 das 10 categorias; ela não mede o motor atual nem as defesas da organização isolada.
- As dez execuções por cenário (40 no total; registro de métricas 95ac0462) repetiram o mesmo corpus em vez de formar amostras independentes; a acurácia do candidato atual é N/A.
- O registro separado de mutações contém 17 originais e 85 variantes em quatro alvos sintéticos do Defense lattice. Nenhuma taxa histórica é transferida para o produto atual.
Escopo arquivado do corpus congelado (v0.5.3 · 17 testes de ataque · 5/10)
- LLM01 (prompt injection) — incluída na referência histórica congelada; desempenho do motor atual nesta referência: N/A.
- LLM02 (divulgação de informações sensíveis) — incluída na referência histórica congelada; desempenho do motor atual nesta referência: N/A.
- LLM06 (agência excessiva) — incluída na referência histórica congelada; desempenho do motor atual nesta referência: N/A.
- LLM07 (vazamento do prompt de sistema) — incluída na referência histórica congelada; desempenho do motor atual nesta referência: N/A.
- LLM10 (consumo sem limites) — incluída na referência histórica congelada; desempenho do motor atual nesta referência: N/A.
A referência metodológica arquivada cobre um corpus congelado de 17 testes em 5 das 10 categorias, para que o trabalho metodológico publicado permaneça reprodutível. É um artefato congelado: útil para ler a pesquisa, não para julgar o motor atual.
Máquina de estados por organização
- open: pelo menos um achado aberto, sustentado por evidência apta para decisão, está associado à categoria.
- remediated: a evidência apta para decisão mostra achados anteriores, todos corrigidos.
- tested: a evidência conclusiva testou a categoria sem encontrar achado aberto.
- untested: a categoria pertence ao catálogo atual, mas nenhuma evidência conclusiva a testou.
Os estados por organização derivam apenas de evidência conclusiva e persistida no catálogo atual. Uma categoria que o motor sabe testar mas a organização não executou permanece sem teste — a ausência de evidência é registrada, nunca suavizada.
O que esta view NÃO é
- A referência histórica de 5/10 não estima a acurácia do motor atual nem a de uma organização.
- Dez execuções repetidas de um único corpus congelado não sustentam intervalo de confiança de amostras independentes nem extrapolação mais ampla.
- A cobertura atual é evidência dentro do corpus testado, não auditoria, certificação ou garantia contra ataques reais.
A view não é auditoria, certificação nem garantia contra ataques desconhecidos. Ela declara onde existe evidência autorizada; qualquer coisa além desse limite é uma afirmação que esta página se recusa a fazer.
Recursos relacionados