O que a IA está vendo? Detector de objetos no navegador

Da imagem às caixinhas coloridas

O detector usa o YOLO ("You Only Look Once"), uma família de redes neurais que olha a imagem inteira de uma vez só e devolve, para cada objeto que encontrou, uma caixa, uma classe e uma nota de confiança. Por ser rápido, dá para rodar em vídeo, quadro a quadro.

Câmera, foto ou vídeo

640 × 640

sem distorcer

YOLO

rede neural

Filtro de confiança

Caixas na tela

Sem esticar a imagem

O modelo só aceita imagens quadradas de 640 px. Em vez de esticar a foto (o que deixaria as pessoas "gordas" ou "finas"), ela é reduzida mantendo a proporção e o espaço que sobra é preenchido de cinza. Depois, as caixas são convertidas de volta para o tamanho original.

Cada caixa é um palpite

A rede devolve até 300 palpites por imagem, cada um com uma confiança de 0 a 100%. A barra de confiança mínima decide quais aparecem: com 35% você vê o que ela tem razoável certeza; com 5% aparecem até os chutes.

As 80 coisas que ela conhece

O modelo foi treinado no COCO, um conjunto público com centenas de milhares de fotos do dia a dia rotuladas à mão. Ele só reconhece o que viu no treino: um boné vira "pessoa" junto com quem usa, e um objeto fora da lista simplesmente não aparece (ou aparece como o mais parecido).

Uma rede neural rodando no seu aparelho

O treino e a exportação são feitos em Python (Ultralytics). O modelo vira um arquivo ONNX, um formato que roda em quase qualquer lugar, e o navegador executa esse arquivo com o ONNX Runtime Web. Nenhum servidor de IA está envolvido.

WebGPU primeiro

Se o navegador tem WebGPU (Chrome e Edge recentes), a conta roda na placa de vídeo. O selo no topo do detector mostra qual foi usado.

WebAssembly de reserva

Sem WebGPU, o mesmo modelo roda no processador via WebAssembly. Funciona em praticamente qualquer navegador, só que com menos quadros por segundo.

Aquecimento

Ao carregar, o detector roda uma imagem vazia antes de liberar os botões: a primeira execução compila os shaders e é sempre a mais lenta.

Trocar o modelo sem mexer no código

A página lê um modelo.json com o arquivo, o tamanho e os nomes das classes. Treinou um modelo seu? Exporta e troca o JSON.

Privacidade

A câmera, as fotos e os vídeos nunca saem do seu navegador. A câmera só funciona em https (ou localhost), regra do próprio navegador.

E para detectar uma coisa que não está na lista?

Aí entra o treino próprio. O caminho é sempre o mesmo, seja para detectar um animal específico, uma peça numa linha de produção ou um defeito:

🎞️

1. Juntar imagens

Vídeos viram quadros. Separe treino, validação e teste por vídeo, para o teste ser honesto.

🏷️

2. Rotular

Uma caixa em cada objeto. Um modelo pronto pode fazer o rascunho e você só corrige.

🏋️

3. Treinar e comparar versões

v1, v2, v3… cada uma avaliada no mesmo conjunto de teste. Dá para treinar de graça com GPU no Google Colab.

🌐

4. Exportar para a web

O melhor modelo vira ONNX e entra nesta mesma página, trocando só o modelo.json.

Dicas e problemas comuns

Câmera negada sem querer? Clique no cadeado da barra de endereço, libere a câmera e clique em Usar câmera de novo.
Muito lento? Sem placa de vídeo compatível o detector usa o processador. Fotos continuam rápidas; em vídeo, feche outras abas pesadas.
Objeto pequeno não aparece? Chegue mais perto ou abaixe a confiança mínima. A imagem é reduzida para 640 px, e detalhes muito pequenos somem.
O vídeo não abre? Use MP4 (H.264) ou WebM, os formatos que o navegador toca.