Cenários de ataque
Um cenário descreve uma persona adversária, a técnica que ela exerce e a asserção que decide se a defesa segurou.
Um cenário codifica uma pergunta adversarial: com essa persona, essa técnica e essa asserção, a defesa resistiu? Os cenários mantêm os testes comparáveis entre execuções porque a asserção — não o humor do modelo — decide o resultado.
Esta página separa as famílias de cenários que vêm com o motor dos cenários personalizados que uma organização pode criar, e explica quando cada um é adequado.
Pontos-chave
- Modelos personalizados salvos registram `updated_at`; cada execução preserva a requisição concreta que executou para revisão posterior.
- Os testes LLM incluídos preservam a atribuição estável de categoria e técnica quando ela é definida pelo corpus.
- Algumas famílias de cenários LLM incluídas no produto têm variantes parafraseadas e versionadas para verificações de robustez dentro do escopo.
- Cenários personalizados podem ser adicionados pela API de criação de cenários.
Famílias de cenários integrados
- Prompt injection / jailbreak (LLM01).
- Sensitive information disclosure (LLM02).
- System-prompt leak (LLM07).
As famílias integradas mapeiam para identificadores do OWASP LLM Top 10, então um achado pode ser lido ao lado da taxonomia sem tradução. As famílias são versionadas: quando o corpus ganha variantes de paráfrase, a atribuição de categoria e técnica permanece estável entre versões.
Cenários customizados
- Salve pela API um título, uma categoria, tags opcionais e um modelo de RunRequest válido.
- Os limites da organização e do plano são aplicados antes da persistência.
- O motor avalia o modelo salvo pelo fluxo normal de evidências; não há envio de código avaliador executável.
Cenários personalizados são modelos, não scripts: uma requisição de execução válida pelo esquema mais metadados. O motor os executa pelo mesmo fluxo de evidência dos integrados; por isso um cenário personalizado não pode contornar a avaliação nem afirmar um estado que a evidência não sustenta.
Recursos relacionados