Teste de segurança para LLM: o que testar e o que a evidência comprova

Uma aplicação com modelo de linguagem (LLM) combina instruções, busca de documentos, ferramentas, identidade, regras de negócio, filtros e registros de execução. Uma recusa segura do modelo isolado não comprova que a aplicação completa protege dados ou limita ações.

Comece nomeando o que precisa ser protegido e onde a confiança muda: instruções de sistema, documentos buscados, credenciais, permissões de ferramentas, dados de usuários, sistemas que recebem a resposta e controles de custo. Depois conecte cada teste a uma forma plausível de abuso.

Considere um assistente de agenda que pode ler os compromissos da pessoa conectada, mas nunca a agenda privada de um colega. Primeiro, confirme que a pessoa consegue ler um compromisso próprio. Depois, faça uma requisição de teste entre usuários, sem nomes nem compromissos reais, e registre a resposta da aplicação, a chamada de ferramenta, a decisão de autorização e o evento de auditoria.

Se a autorização impedir a chamada da ferramenta, o caminho foi bloqueado por um controle. Se o serviço de agenda estiver indisponível, o resultado é inconclusivo — não seguro. O exemplo mostra por que o veredito precisa descrever tanto o efeito observado quanto o controle que o produziu.