AIS103 · Segurança de sistemas de IA e aplicações com LLMs

Proteja sistemas de IA e aplicações com LLMs com uma abordagem de defesa em camadas. Você vai modelar ameaças de uma aplicação com LLM usando o OWASP Top 10 for LLM Applications e o MITRE ATLAS, aplicar controles em camadas e verificá-los com avaliações automatizadas.

Construir · 6 horas · 4 aulas, um laboratório, uma atividade avaliada e uma peça de portfólio

Para quem é

Profissionais de TI e segurança, desenvolvedores e responsáveis por produto que implantam chatbots, assistentes ou agentes de IA.

Pré-requisitos

Concluir o AIS101; ajuda ter familiaridade básica com aplicações web e com a leitura de YAML ou JSON.

O que você será capaz de fazer

• Modelar ameaças de uma aplicação com LLM usando o OWASP Top 10 for LLM Applications (2025) e o MITRE ATLAS
• Desenhar controles em camadas para entrada, recuperação, modelo, saída e uso de ferramentas
• Aplicar privilégio mínimo e aprovação humana a agentes e integrações de IA
• Verificar as defesas com uma suíte de avaliação automatizada e monitorar aplicações de IA em produção

Aulas

• Aula 1 · A superfície de ataque de aplicações de IA e LLMs
• Aula 2 · Defesas em camadas para aplicações com LLM
• Aula 3 · Segurança de agentes, ferramentas e da cadeia de suprimentos de IA
• Aula 4 · Laboratório e atividade

Laboratório: Modele ameaças e reforce um chatbot de atendimento

Você vai desenhar a arquitetura de um chatbot de atendimento que responde com base em uma base de conhecimento e consulta o status de pedidos. Vai montar um modelo de ameaças, escrever um prompt de sistema reforçado e verificações de saída e rodar uma suíte de avaliação do promptfoo, com suas categorias de teste de segurança e vazamento de dados, contra o modelo local antes e depois das mitigações.

Ferramentas gratuitas: Ollama com um modelo aberto pequeno (gratuito, roda localmente), promptfoo (código aberto), VS Code e draw.io

Atividade avaliada

Escreva uma revisão de segurança do desenho de um assistente com LLM de uma pequena loja virtual que responde dúvidas de clientes, pesquisa documentos internos de políticas e gera etiquetas de devolução. Inclua um diagrama de arquitetura com fronteiras de confiança, um modelo de ameaças cobrindo pelo menos seis riscos do OWASP LLM, os controles de cada camada, as permissões de cada ferramenta e os resultados das avaliações antes e depois das mitigações. Termine com um plano de monitoramento e uma nota sobre o tratamento de CPFs e outros dados pessoais conforme a LGPD.

Peça de portfólio

Uma revisão de segurança com modelo de ameaças, controles e resultados de avaliação para uma aplicação com LLM.

No seu ritmo, com 12 meses de acesso. Dúvidas são respondidas por escrito pelo painel do aluno. Ao concluir o curso, você recebe um registro de conclusão.