LLM107 · Avaliação, testes e proteções em aplicações com LLMs

Meça a qualidade de aplicações com LLMs com conjuntos de avaliação reais, automatize testes de regressão e adicione proteções que resguardam usuários, dados e o negócio.

Avançar · 8 horas · 4 aulas, um laboratório, uma atividade avaliada e uma peça de portfólio

Para quem é

Desenvolvedores e líderes técnicos responsáveis pela qualidade e pela segurança de funcionalidades com LLMs antes e depois do lançamento.

Pré-requisitos

LLM104 e LLM105; o LLM106 ajuda nos exemplos com agentes.

O que você será capaz de fazer

• Montar um conjunto de avaliação com critérios claros de aprovação para uma funcionalidade específica com LLM
• Combinar verificações por código e avaliação calibrada por LLM para pontuar saídas
• Automatizar testes de regressão de prompts e modelos em um pipeline de integração contínua
• Implementar proteções de entrada e saída para dados pessoais, pedidos fora do escopo e injeção de prompt, relacionadas ao OWASP Top 10 para aplicações com LLMs

Aulas

• Aula 1 · Desenhando avaliações que importam
• Aula 2 · Pontuação e testes automatizados
• Aula 3 · Proteções e design defensivo
• Aula 4 · Laboratório e atividade

Laboratório: Uma suíte de avaliação e proteções para um assistente de atendimento

Você vai criar um conjunto de 40 casos de avaliação para um assistente de atendimento, pontuá-lo com verificações determinísticas e um LLM avaliador e rodá-lo automaticamente a cada mudança pelo GitHub Actions. Depois, vai adicionar proteções que mascaram dados pessoais, mantêm o assistente no escopo e resistem a instruções embutidas no conteúdo do usuário, conferindo tudo com testes.

Ferramentas gratuitas: VS Code ou Google Colab, promptfoo (código aberto, roda localmente), pytest, Microsoft Presidio para detecção de dados pessoais, nível gratuito do GitHub Actions e o nível gratuito da API Gemini ou o Ollama

Atividade avaliada

Produza um pacote completo de qualidade e segurança para uma funcionalidade com LLM de sua escolha em uma pequena empresa, como um assistente de agendamento de clínica ou um bot de trocas de uma loja. Inclua um padrão de qualidade por escrito com limites de aprovação, um conjunto de avaliação com pelo menos 40 casos, testes automatizados rodando em integração contínua, pelo menos três proteções relacionadas a riscos do OWASP para LLMs e um roteiro curto de resposta a incidentes descrevendo como a equipe detecta, contém e corrige uma saída nociva ou errada depois do lançamento.

Peça de portfólio

Uma suíte de avaliação integrada à integração contínua, com proteções testadas e um roteiro de resposta a incidentes para uma funcionalidade real com LLM.

No seu ritmo, com 12 meses de acesso. Dúvidas são respondidas por escrito pelo painel do aluno. Ao concluir o curso, você recebe um registro de conclusão.