Fragilidade
Fragilidade de redação é uma métrica opcional de avaliação pareada: a mudança na taxa de bloqueio observada entre testes literais e parafraseados correspondentes. Sem essa amostra pareada, o valor é N/A.
Pontos-chave
- O registro arquivado de mutações observou sensibilidade à redação em um recorte de LLM01; nenhuma taxa desse recorte descreve o motor atual ou um tenant.
- Um valor atual exige entradas correspondentes, o mesmo alvo e a mesma configuração, além da contagem explícita das amostras.
- É um sinal restrito ao escopo medido, não uma propriedade de todo achado nem um veredito sobre a defesa inteira.
- Use-o para formular uma hipótese de revisão e confirme a correção com nova evidência conclusiva.
01
Classes de fragilidade
- Observada: uma avaliação correspondente entre versões literal e parafraseada produziu uma estimativa qualificada.
- Não observada: não há avaliação pareada para esta execução, portanto o valor é N/A.
- Histórica: a estimativa pertence a um registro de pesquisa versionado e não deve ser aplicada ao motor atual nem a um tenant.
02
Como medimos
- Execute a mesma família de cenários com versões literais e parafraseadas.
- Informe o tamanho e a taxa de bloqueio de cada amostra; a diferença pareada é a taxa das paráfrases menos a taxa dos literais, sem presumir significância estatística.
- Fontes históricas: o registro de mutação 57f15b67 usou 17 originais e 85 variantes no total (cinco por original), em quatro alvos sintéticos e cinco categorias OWASP; o registro separado de métricas 95ac0462 usou dez execuções repetidas por cenário no corpus congelado de 17 testes de ataque e cinco categorias, não amostras independentes.