Fragilidade
Fragilidade é a queda no block-rate da defesa quando adversários parafraseiam um probe em vez de usar wording literal. É o único número que distingue um filtro de keyword (colapsa sob parafraseamento) de uma defesa em nível de controle (não colapsa).
Pontos-chave
- Reportada em pontos percentuais (pp), ex: -50pp = block-rate cai de 67% para 17%.
- Sempre acompanhada de uma atribuição: qual família de defesa produziu a queda.
- Uma sinalização, não um veredicto: actionability depende da categoria e do seu threat model.
- Direciona a conversa de upsell para controles de orçamento e defesas estruturais.
01
Classes de fragilidade
- keyword: defesa depende de matching em nível de string; frágil por construção.
- control: defesa é estrutural (rate limit, tool registry); agnóstica a wording.
- unknown: classificação ainda não conectada: exposta para convidar revisão manual.
02
Como medimos
- Executa a mesma família de cenários contra literais e paráfrases.
- Calcula block-rate para cada conjunto; fragilidade = paraphrase rate − original rate.
- Medição de baseline: 10 replicações, 85 paráfrases por cenário, n=17 probes.