Fragilidade
Fragilidade de redação é uma métrica opcional de avaliação pareada: a mudança na taxa de bloqueio observada entre testes literais e parafraseados correspondentes. Sem essa amostra pareada, o valor é N/A.
Fragilidade mede o quanto uma defesa depende da redação: a diferença pareada na taxa de bloqueio entre um teste literal e suas paráfrases. Um controle que bloqueia o original e perde a paráfrase não bloqueou o ataque — ele casou com o texto.
É uma métrica opcional de propósito. Quando a avaliação pareada literal/paráfrase não rodou, o valor é N/A. Esta página explica as classes, a medição e a fronteira entre resultados medidos e retratos históricos.
Pontos-chave
- O registro arquivado de mutações observou sensibilidade à redação em um recorte de LLM01; nenhuma taxa desse recorte descreve o motor atual ou uma organização.
- Um valor atual exige entradas correspondentes, o mesmo alvo e a mesma configuração, além da contagem explícita das amostras.
- É um sinal restrito ao escopo medido, não uma propriedade de todo achado nem um veredito sobre a defesa inteira.
- Use-o para formular uma hipótese de revisão e confirme a correção com nova evidência conclusiva.
Classes de fragilidade
- Observada: uma avaliação correspondente entre versões literal e parafraseada produziu uma estimativa qualificada.
- Não observada: não há avaliação pareada para esta execução, portanto o valor é N/A.
- Histórica: a estimativa pertence a um registro de pesquisa versionado e não deve ser aplicada ao motor atual nem a uma organização.
As três classes existem para evitar otimismo por padrão. Observada significa que a avaliação pareada rodou; não observada mantém o valor em N/A em vez de adivinhar; histórica marca números que pertencem a um retrato versionado da pesquisa e nunca devem ser lidos como a postura atual da sua organização.
Como medimos
- Execute a mesma família de cenários com versões literais e parafraseadas.
- Informe o tamanho e a taxa de bloqueio de cada amostra; a diferença pareada é a taxa das paráfrases menos a taxa dos literais, sem presumir significância estatística.
- Fontes históricas: o registro de mutação 57f15b67 usou 17 originais e 85 variantes no total (cinco por original), em quatro alvos sintéticos e cinco categorias OWASP; o registro separado de métricas 95ac0462 usou dez execuções repetidas por cenário no corpus congelado de 17 testes de ataque e cinco categorias, não amostras independentes.
A medição é simétrica por construção: a mesma família de cenários roda contra originais e paráfrases, cada amostra reporta tamanho e taxa de bloqueio, e a diferença publicada é a taxa de paráfrase menos a literal. Fontes históricas permanecem rotuladas com a versão do retrato.
Recursos relacionados