Cobertura OWASP LLM Top 10
A visão de atribuição por tenant que mapeia cada categoria do OWASP-LLM-Top-10 que sondamos para (a) a família de defesa que fecha a categoria, (b) o estado por tenant, e (c) nosso baseline interno de fragilidade. Disponível em /coverage/llm e via GET /v1/coverage/llm.
Pontos-chave
- Cinco categorias entregues hoje: LLM01 (jailbreak), LLM02 (sensitive info), LLM06 (excessive agency), LLM07 (system-prompt leak), LLM10 (unbounded).
- Cada categoria é atribuída à família de defesa que a fecha (refusal whitelist, rate limit + PII scrub, tool-registry auth, token cap + allowlist).
- LLM01 e LLM07 caem em block-rate -50pp e -100pp sob paráfrase: esses são os sinais de fragilidade que mais destacamos.
- LLM02, LLM06, LLM10 são agnósticos a wording (control-level), então parafrasear não muda o score.
- Números de fragilidade vêm do nosso baseline interno de fragilidade; a UI nunca os re-deriva.
01
Mapeamento por categoria (baseline de fragilidade)
- LLM01 (jailbreak) → refusal-phrase whitelist · literais 67% · paráfrases 17% · fragilidade -50pp.
- LLM02 (sensitive info) → rate limit + PII scrub · literais 0% · paráfrases 0% · fragilidade N/A.
- LLM06 (excessive agency) → tool-registry auth · literais 0% · paráfrases 0% · fragilidade N/A.
- LLM07 (system-prompt leak) → refusal-phrase whitelist · literais 100% · paráfrases 0% · fragilidade -100pp.
- LLM10 (unbounded consumption) → token cap + allowlist · literais 0% · paráfrases 0% · fragilidade N/A.
02
Máquina de estados por tenant
- open: pelo menos uma descoberta aberta marcada com a categoria.
- remediated: tinha descobertas, todas agora fechadas.
- tested: pelo menos uma execução completada sondou a categoria sem descoberta.
- untested: nenhuma execução completada sondou a categoria ainda.
03
O que esta view NÃO é
- Não é tempo real: números de fragilidade atualizam apenas quando revisamos o corpus de baseline.
- Não substitui a visão de detalhe por descoberta em /findings/{id}.
- Não é garantia: cinco categorias amostradas contra 17 probes não falam pelo corpus de ataques in the wild.