Simulações de ataque
Uma simulação é uma execução controlada de testes de ataque contra sua aplicação LLM: limitada a um alvo permitido, executada pelo nosso motor e avaliada contra OWASP LLM Top 10 e MITRE ATT&CK.
Uma simulação de ataque é um exercício delimitado: o motor executa um conjunto de testes contra um alvo que você controla, dentro de um escopo autorizado, e registra tudo o que é necessário para reproduzir o resultado. Esta página explica o que uma execução entrega e quando agendar uma.
Simulações são a unidade de evidência do DoesItDefend. Notas, estados de cobertura, comparações e pacotes de evidências derivam de execuções concluídas; entender o que uma execução promete — e o que ela deliberadamente não promete — torna os outros conceitos mais fáceis de ler.
Pontos-chave
- Toda simulação tem um target_scope explícito; alvos fora de escopo são rejeitados.
- A criação é idempotente: reutilizar a mesma Idempotency-Key retorna a execução existente, embora respostas do modelo possam variar em novas execuções.
- Uma execução concluída persiste achados e artefatos de evidência. A pontuação numérica só fica apta para decisão quando a evidência canônica persistida sustenta uma avaliação conclusiva; caso contrário, pontuações públicas e comparativas permanecem N/A.
- Perfis de simulação variam de quick (≈5 minutos) a deep (≈30 minutos).
O que uma simulação produz
- Achados por categoria marcadas com IDs OWASP LLM e técnicas ATT&CK.
- Estados por categoria (aberta / corrigida / testada / não testada) derivados de evidência conclusiva e persistida.
- Execuções elegíveis do Starter+ podem gerar um pacote de evidências com integridade verificada por SHA-256. Execuções LLM com achados elegíveis também podem incluir transcrições de requisição e resposta e guia operacional de remediação.
Todo artefato de uma execução é gravado em armazenamento persistido antes de qualquer nota ser calculada. A ordem é proposital: um achado que não pode ser reaberta com as entradas anexadas é um relato, não evidência. Trate o registro da execução, não o painel, como fonte da verdade.
Quando executar
- Antes de cada lançamento, contra um ponto de acesso de homologação.
- Semanalmente contra produção (perfil de verificação rápida).
- Após qualquer mudança em instruções de sistema, ferramentas ou versões de modelo.
A frequência segue o risco, não o ritual. Um release que muda instruções de sistema, definições de ferramentas ou busca altera a superfície de ataque e merece uma execução completa; superfícies intectadas são melhor servidas por um perfil curto do que por repetir tudo em uma agenda fixa.
Recursos relacionados