Edital nº 04/2022-PROEX/IFRN · NADIC · 2022
Webinário sobre Monitoramento de Máscaras e Temperatura
Aplicação de IoT e visão computacional que verifica uso de máscara e de fardamento, mede temperatura corporal e detecta aglomeração em tempo real, criada na pandemia e ensinada em webinário.
2020
IA aplicada antes do tema virar mainstream
3
tecnologias de visão computacional combinadas
1
webinário tutorial ministrado
Resumo do que fiz
- Detecção de pessoas e classificação de máscara e fardamento com TensorFlow, YOLO e OpenCV, processando vídeo em tempo real.
- Fine-tuning sobre modelo pré-treinado com mais de 1.000 imagens, alcançando 92% de acurácia.
- Detecção de aglomeração por distância euclidiana, resolvendo o problema de profundidade da câmera, que enxerga como lado a lado pessoas em planos diferentes.
- Sensor de temperatura integrado ao sistema, unindo as três verificações em uma passagem só pelo ponto de entrada.
- Desenvolvido em dupla, quando IA aplicada ainda era assunto pouco difundido em projeto de graduação.
- Webinário em formato de tutorial, ensinando os participantes a replicar a aplicação remotamente, com dúvidas ao vivo.
Tecnologias
Temperatura (térmica)
36,4 °Cnormal
Pipeline
TensorFlowYOLOOpenCV
IoT · câmera embarcada + térmica infravermelha
O projeto
Projeto de extensão aprovado no Edital nº 04/2022-PROEX/IFRN, com bolsa oficial do IFRN e orientação do Prof. Dr. Demetrios Coutinho. O trabalho foi selecionado para apresentação no IFRN Natal. Em plena pandemia de Covid-19, o NADIC, núcleo de pesquisa, desenvolvimento e inovação do instituto, propôs um projeto com duas entregas amarradas: construir uma aplicação de internet das coisas capaz de verificar uso de máscara, uso de fardamento, temperatura corporal e aglomeração em tempo real, e transformar o conhecimento adquirido nessa construção em um webinário aberto, em formato de tutorial, para que outras pessoas conseguissem replicar a aplicação remotamente. Desenvolvi o projeto em dupla com outro bolsista, e participei também da apresentação.
92%
De acurácia na classificação, com fine-tuning sobre modelo pré-treinado.
1.000+
Imagens usadas no ajuste do modelo.
4
Verificações numa passagem só: pessoa, máscara, fardamento e temperatura.
2
Pessoas no time: eu e mais um bolsista, do modelo ao webinário.
Contexto
Por que o projeto existiu
O problema era sanitário, mas a resposta que o projeto propôs era de engenharia, e tinha um segundo objetivo que não era técnico.
01
A verificação na entrada era manual
Conferir máscara e medir temperatura de cada pessoa dependia de alguém parado na porta, exposto ao risco, sem gerar nenhum registro do que foi verificado.
02
Visão computacional ainda era assunto restrito
À época, detecção de objetos em tempo real estava longe de ser conversa comum no mercado. O projeto colocou estudantes de graduação lidando com modelos de detecção aplicados a um problema real.
03
Extensão, não só pesquisa
O produto final não era apenas o sistema: era a capacidade de outras pessoas reproduzirem o sistema. Por isso o webinário fazia parte do escopo desde o início, e não era um extra no fim.
04
Formação de perfil profissional
A escolha de tecnologias largamente usadas no mercado foi deliberada, para que a experiência contasse no perfil profissional de quem participou.
Solução técnica
Como a aplicação foi construída
01
Detecção de pessoas e de máscara com TensorFlow e YOLO
Modelo treinado para encontrar pessoas no quadro e classificar cada uma como com ou sem máscara. O YOLO entrou pela velocidade de inferência, que era requisito: a verificação precisava acontecer enquanto a pessoa passava, não depois.
02
Fine-tuning sobre modelo pré-treinado
Em vez de treinar do zero, partimos de um modelo já treinado e o ajustamos com mais de 1.000 imagens do nosso contexto, chegando a 92% de acurácia na classificação. Transfer learning ainda era pouco difundido fora dos grandes centros de pesquisa, principalmente em projeto de graduação.
03
Classificação de fardamento
Além da máscara, o modelo distinguia quem estava com o fardamento da instituição, somando a verificação de uniforme à mesma passagem pela câmera.
04
Aglomeração por distância euclidiana
A parte mais difícil do projeto. A câmera é uma imagem plana: três pessoas em planos diferentes de profundidade aparecem como se estivessem lado a lado. Calculávamos a distância euclidiana entre as detecções para estimar o afastamento real entre as pessoas, em vez de confiar na distância aparente na imagem.
05
Pipeline de vídeo com OpenCV
Captura dos quadros, pré-processamento da imagem antes de ir para o modelo e desenho das marcações de volta sobre o vídeo, para que o resultado fosse visível na hora.
06
Sistema embarcado na câmera
A aplicação roda junto ao dispositivo de captura, em vez de mandar vídeo para um servidor processar. Isso tira a dependência de rede e mantém a imagem no próprio ponto de verificação.
07
Sensor de temperatura integrado
Leitura de temperatura corporal conectada ao mesmo sistema, para sinalizar quem estivesse fora da faixa normal no mesmo ponto em que as outras verificações aconteciam.
Entrega
O webinário, que era metade do projeto
A segunda entrega não era documentação: era ensinar outras pessoas a construir o que foi construído.
01
Formato de tutorial, não de palestra
A apresentação foi montada como um passo a passo reproduzível, não como uma demonstração do resultado pronto.
02
Sessão de dúvidas ao vivo
Os participantes puderam perguntar durante a transmissão, o que mudou o nível de detalhe exigido: não dava para pular etapa.
03
Replicação remota pelos participantes
O objetivo declarado era que quem assistisse conseguisse montar a própria versão da aplicação à distância.
04
Interesse pela pesquisa científica
O projeto de extensão tinha como objetivo ampliar competências e despertar o interesse de estudantes e participantes pela pesquisa em TI e suas interfaces com outras áreas.
Próximo projeto
Plataforma de venda de ingressos