MLD107 · Avaliação, ajuste e explicabilidade de modelos

Avalie modelos com métricas alinhadas aos custos do negócio, valide e ajuste sem se enganar e explique o comportamento deles para as pessoas que dependem das previsões.

Avançar · 8 horas · 4 aulas, um laboratório, uma atividade avaliada e uma peça de portfólio

Para quem é

Profissionais que já constroem modelos com scikit-learn e precisam avaliá-los, melhorá-los e justificá-los com rigor.

Pré-requisitos

MLD105, ou experiência equivalente no treino de modelos de regressão e classificação com scikit-learn.

O que você será capaz de fazer

• Escolher e calcular métricas de regressão e classificação, incluindo avaliação por custo, para um problema de negócio
• Planejar esquemas de validação, incluindo validação cruzada estratificada, por grupos e temporal, que reflitam o uso real do modelo
• Ajustar hiperparâmetros com busca aleatória ou Optuna mantendo um conjunto de teste limpo
• Explicar modelos de forma global e para previsões individuais com importância por permutação e SHAP e documentá-los em um model card com análise de justiça

Aulas

• Aula 1 · Métricas alinhadas ao negócio
• Aula 2 · Validação e ajuste de hiperparâmetros
• Aula 3 · Explicabilidade, justiça e documentação
• Aula 4 · Laboratório e atividade

Laboratório: Avalie, ajuste e explique um modelo de inadimplência

Com um conjunto de dados de crédito para pequenos negócios de uma cooperativa de crédito, você vai comparar modelos com uma métrica baseada em custo, ajustar um modelo de gradient boosting com validação temporal e explicar suas previsões. No fim, vai escrever um model card com desempenho, limites e uma análise de justiça entre grupos.

Ferramentas gratuitas: Google Colab (gratuito) com scikit-learn, Optuna e SHAP

Atividade avaliada

Pegue um modelo construído no MLD105 ou o conjunto fornecido de falhas de equipamentos e produza um pacote completo de avaliação. Inclua uma análise justificada de métricas e custos, um esquema de validação compatível com o uso real, um processo de ajuste documentado, uma única avaliação final no teste com intervalos de confiança por bootstrap, explicações globais e locais e um model card com uso pretendido, limitações e uma análise de justiça ou por subgrupos.

Peça de portfólio

Um pacote completo de avaliação de modelo, com registro do ajuste, explicações e model card.

No seu ritmo, com 12 meses de acesso. Dúvidas são respondidas por escrito pelo painel do aluno. Ao concluir o curso, você recebe um registro de conclusão.