Coleta de dados públicos com proxy: como fazer do jeito certo

Resposta curta: para coletar dados públicos com proxy, escolha o tipo de IP pelo destino (IPv6 se o site aceitar, IPv4 em lote se não aceitar, residencial rotativo se o site for rigoroso com data center), distribua as consultas entre os IPs, respeite o ritmo do site e colete só o que é público e permitido pela LGPD. O proxy resolve a origem das consultas; quem decide se a coleta funciona por muito tempo é o cuidado com o ritmo.

O que é coleta de dados públicos

É a leitura automática de informações que qualquer pessoa vê no navegador: preços de produtos, catálogos, disponibilidade, resultados de busca, dados abertos de órgãos públicos. Empresas usam isso para monitorar preços, acompanhar a concorrência, medir presença em buscas e alimentar análises.

Por que usar proxy

Quando todas as consultas saem do mesmo IP, os sites percebem o volume e passam a limitar ou recusar o acesso. O proxy distribui as consultas entre vários endereços e permite escolher de onde elas saem, o que importa quando o conteúdo muda por região.

Qual tipo de IP usar

Situação	Tipo indicado	Por quê
Destino aceita IPv6	IPv6	Menor custo por IP, lotes de até 10.000
Destino só aceita IPv4	IPv4 MIX	IPv4 dedicado em lotes de 50 a 200
Destino rigoroso com data center	Residencial rotativo	IPs residenciais, troca a cada conexão
Dados que mudam por cidade	Residencial rotativo	Escolha de estado e cidade

O guia IPv4 ou IPv6 explica como testar a compatibilidade antes de comprar um lote grande.

Quantos IPs você precisa

Depende do volume e da tolerância de cada site. Um caminho seguro:

1. comece com um lote pequeno;
2. rode a coleta num ritmo baixo e meça quantas respostas vêm corretas;
3. aumente o ritmo aos poucos até aparecerem recusas;
4. fique abaixo desse ponto e calcule quantos IPs precisa para o volume total.

Boas práticas que mantêm a coleta funcionando

• Ritmo humano: espaçar as consultas e evitar picos. Coleta agressiva atrapalha o site e é a forma mais rápida de ter o acesso recusado.
• Horários de menor movimento: quando possível, rode nos horários em que o site recebe menos visitas.
• Leia só o necessário: baixe a página ou a API que tem o dado, sem carregar imagens e arquivos que você não usa. Isso economiza GB no rotativo.
• Repita com cuidado: quando um pedido falhar, espere antes de tentar de novo, em vez de insistir na hora.
• Respeite as regras do site: confira os termos de uso e o arquivo robots.txt do destino.
• Cache: não consulte de novo o que não mudou.

LGPD e o que não fazer

Dado público não é o mesmo que dado livre. A LGPD protege dados pessoais mesmo quando estão visíveis na internet. A política de uso aceitável do Brasil Proxy proíbe:

• coletar dados protegidos por login ou pagamento sem autorização, ou dados pessoais sem base legal na LGPD;
• acessar contas, sistemas ou dados de outras pessoas sem autorização;
• atacar, varrer ou sobrecarregar sistemas.

A mesma política permite a coleta de dados públicos respeitando o robots.txt e limites razoáveis de requisição.

Preços, catálogos, disponibilidade e informações de empresas costumam ser o foco de uma coleta responsável. Veja as regras completas em uso aceitável.

Erros que travam a coleta

• Muitas consultas por IP: distribuir melhor ou aumentar o lote.
• Tipo de IP errado: se o destino recusa data center, nenhuma quantidade de IPv4 resolve; troque para residencial.
• Credencial ou protocolo errado: confira com a ferramenta Testar proxy e o guia HTTP ou SOCKS5.
• Ignorar a região: se o dado muda por cidade, colete da cidade certa.

Resumo

Escolha o IP pelo destino, comece pequeno, respeite o ritmo do site e colete só o que é público e permitido. Veja os tipos indicados na página de coleta de dados públicos ou os valores em preços.