LLM108 · Implantação e operação de aplicações com LLMs
Sobre o curso
Empacote uma aplicação com LLM como um serviço confiável, observe-a com traces e métricas, controle custo e latência e lance mudanças de modelo e de prompt com segurança.
Para quem é
Desenvolvedores e pequenas equipes técnicas que estão levando um protótipo com LLM para o uso diário de funcionários ou clientes.
Pré-requisitos
LLM103 e LLM107; familiaridade básica com linha de comando e Git.
O que você será capaz de fazer
- Empacotar uma aplicação com LLM como serviço FastAPI em contêiner, com configurações e segredos fora da imagem
- Instrumentar as requisições com traces, uso de tokens, latência e custo, e montar um painel simples de operação
- Aplicar cache, limites de taxa, tempo limite e alternativas de contingência para controlar custo e manter o serviço disponível
- Planejar o lançamento versionado de uma mudança de prompt ou de modelo com etapas de avaliação, monitoramento e reversão
Aulas
- Aula 1 · Empacotando aplicações com LLM como serviços
- Aula 2 · Observabilidade, custo e desempenho
- Aula 3 · Mudanças seguras, operação e governança
- Aula 4 · Laboratório e atividade
Laboratório: Publique e observe um serviço de LLM em contêiner
Você vai colocar um assistente de rascunho de respostas dentro de um serviço FastAPI, empacotá-lo em contêiner e rodá-lo com uma pilha de rastreamento auto-hospedada no seu computador. Vai adicionar cache, limites de taxa e um modelo de contingência e depois simular o lançamento de um novo prompt com uma feature flag, comparando as métricas com a versão anterior.
Ferramentas gratuitas: Docker Desktop, FastAPI, Langfuse (código aberto, auto-hospedado com Docker Compose), nível gratuito do GitHub Actions e o Ollama ou o nível gratuito da API Gemini
Atividade avaliada
Escreva e implemente um plano de operação para uma funcionalidade com LLM usada por uma pequena rede de três lojas de autopeças. Entregue o serviço em contêiner, um painel com pelo menos cinco métricas operacionais, metas documentadas de custo e latência, um procedimento de lançamento de mudanças de prompt e de modelo com etapas de avaliação e um roteiro de operação cobrindo queda do provedor, pico de custo e incidente de resposta errada. Inclua uma seção de retenção de dados e privacidade alinhada à LGPD, dizendo o que é registrado, como os dados pessoais são mascarados e por quanto tempo os registros são mantidos.
| Critério | Peso | Como é um trabalho excelente |
|---|---|---|
| Serviço e empacotamento | 25% | O serviço é gerado e roda com comandos documentados, usa contêiner sem root e mantém todos os segredos fora da imagem e do repositório. |
| Observabilidade | 25% | Traces e métricas capturam tokens, latência, custo, versões e erros, com dados pessoais mascarados e um painel claro. |
| Controles de custo e resiliência | 25% | Cache, limites de taxa, tempo limite e contingência implementados, com o efeito mostrado em números do teste de carga. |
| Lançamento e roteiro de operação | 25% | Lançamento versionado com etapas de avaliação e reversão, além de um roteiro realista e de uma política de retenção de dados. |
Peça de portfólio
Um serviço de LLM em contêiner e observável, com painel de operação, procedimento de lançamento e roteiro de operação.
Próximo passo
Continue com LLM109 · Projeto final: um assistente de IA para um processo real de negócio · 8 horas · R$ 80,00
Conteúdo do curso
LLM108 · Implantação e operação de aplicações com LLMs (8 h)
-
Aula 1 · Empacotando aplicações com LLM como serviços
-
Aula 2 · Observabilidade, custo e desempenho
-
Aula 3 · Mudanças seguras, operação e governança
-
Aula 4 · Laboratório e atividade
-
LLM108 Avaliação · Implantação e operação de aplicações com LLMs