ROB105 · Percepção robótica com visão computacional

Dê visão aos robôs: entenda câmeras e calibração, use visão computacional clássica para detectar cores, formas e marcadores, aplique detectores pré-treinados de deep learning e feche a malha guiando um robô simulado pelo que a câmera vê.

Avançar · 8 horas · 4 aulas, um laboratório, uma atividade avaliada e uma peça de portfólio

Para quem é

Quem já programa o movimento de robôs e quer que eles localizem objetos e reajam a eles usando câmeras.

Pré-requisitos

ROB104 (cinemática e referenciais) e Python com segurança, incluindo listas e funções; noções de NumPy ajudam.

O que você será capaz de fazer

• Explicar o modelo de câmera pinhole, os parâmetros intrínsecos e por que a calibração importa para medir.
• Detectar objetos por cor, contorno e marcadores fiduciais com OpenCV e estimar a pose de marcadores.
• Executar um detector de objetos pré-treinado e avaliá-lo com precisão, revocação e IoU.
• Implementar servo visual para que um robô simulado acompanhe um alvo usando a câmera como realimentação.

Aulas

• Aula 1 · Câmeras, imagens e calibração
• Aula 2 · Visão clássica: cor, forma e marcadores
• Aula 3 · Percepção com deep learning e servo visual
• Aula 4 · Laboratório e atividade

Laboratório: Ver, localizar e seguir: um robô guiado por visão

No Webots, você instala uma câmera num robô móvel, converte os quadros em imagens OpenCV, detecta uma caixa plástica laranja por limiarização em HSV e conduz o robô até o centroide com um controlador proporcional até ficar perto o bastante. No Colab, detecta marcadores ArUco e estima sua pose, depois roda um detector pré-treinado em imagens de exemplo de armazém e calcula precisão e revocação em relação às caixas rotuladas.

Ferramentas gratuitas: Webots (gratuito) com robô equipado com câmera, OpenCV para Python, Google Colab (gratuito); modelo pré-treinado YOLO da Ultralytics (gratuito e open source)

Atividade avaliada

Envie o controlador do Webots, um vídeo curto ou prints do robô seguindo a caixa e o notebook do Colab. Informe as faixas de HSV escolhidas e mostre a máscara antes e depois da limpeza. Apresente a precisão e a revocação do detector com dois exemplos de falsos positivos ou objetos perdidos e explique as causas prováveis. Recomende, para um pequeno armazém, quando usaria limiarização por cor, marcadores fiduciais ou um detector de deep learning.

Peça de portfólio

Um controlador de robô guiado por visão e um notebook de percepção avaliado, que demonstram habilidades práticas de visão robótica.

No seu ritmo, com 12 meses de acesso. Dúvidas são respondidas por escrito pelo painel do aluno. Ao concluir o curso, você recebe um registro de conclusão.