Monitoramento de preços com proxy: como ver o preço que o cliente vê

Quem trabalha com varejo online já viu acontecer: o relatório de preços diz uma coisa, o cliente reclama de outra. Em muitos casos, os dois estão certos. O preço que uma loja mostra pode variar conforme a região, o tipo de conexão, o horário e até o histórico de navegação. Se toda a sua coleta sai da rede do escritório, em São Paulo, você enxerga uma fatia só do mercado.

Este guia mostra como montar um monitoramento de preços que reflete o que o consumidor vê, usando proxies brasileiros de forma responsável.

Por que o preço muda

Há três motivos principais:

1. Frete e estoque regional. Muitas lojas trabalham com centros de distribuição diferentes. O preço final e o prazo para Recife não são os mesmos de Curitiba, e alguns produtos simplesmente não aparecem em certas regiões.
2. Preço dinâmico. Plataformas ajustam valores ao longo do dia, conforme demanda e concorrência.
3. Tratamento de conexões automatizadas. Algumas lojas limitam ou mostram páginas diferentes para acessos que parecem vir de servidores, ou para muitas consultas seguidas do mesmo endereço.

Um monitoramento que ignora esses fatores produz números bonitos e errados.

O papel do proxy

O proxy resolve dois problemas ao mesmo tempo. Primeiro, a origem: com IPs de cidades diferentes, você vê o preço e o frete de cada praça. Segundo, a distribuição: com vários IPs, cada rotina de consulta tem o seu endereço, e nenhum deles faz um volume fora do comum.

Qual tipo de proxy usar

Para preço por cidade: o residencial rotativo é o mais indicado. Você escolhe estado e cidade, e o IP de saída é de uma conexão residencial real daquela região. A cobrança é por GB, e páginas de produto costumam ser leves.

Para volume com origem estável: o IPv4 MIX, com 50 a 200 IPs dedicados, ou o IPv4 Brasil para começar pequeno. Sem medidor de tráfego, o custo fica previsível.

Para escala máxima: se as lojas que você monitora aceitam IPv6, os lotes IPv6 chegam a 10.000 endereços com o menor custo por IP.

Quantos IPs você precisa

A conta começa pelo seu volume. Suponha que você acompanhe 2.000 produtos em 10 lojas, uma vez por hora. São 20.000 consultas por hora, 2.000 por loja. Se você quer que cada IP faça no máximo, digamos, 60 consultas por hora em cada loja, precisa de cerca de 34 IPs. Um pacote MIX de 50 dá folga.

O número exato depende das lojas, mas o raciocínio é sempre o mesmo: divida o volume de cada destino pelo ritmo que você considera razoável por IP. Comece com menos, meça a taxa de erro e ajuste.

Boas práticas que fazem diferença

• Respeite o robots.txt e os termos de cada site. Além de ser o correto, evita problemas.
• Use intervalos aleatórios entre consultas, em vez de disparar tudo no mesmo segundo.
• Colete só o que é público. Preço, disponibilidade e frete exibidos a qualquer visitante. Nada de áreas com login.
• Guarde o contexto. Registre de qual cidade e com qual tipo de conexão cada preço foi visto. Sem isso, a comparação perde sentido.
• Monitore a sua taxa de erro. Se uma loja começa a devolver muitas páginas de verificação, reduza o ritmo.

Montando o fluxo

Um fluxo simples e eficiente funciona assim:

1. uma lista de URLs de produto por loja;
2. uma fila que distribui as consultas entre os proxies, respeitando o limite por IP e por destino;
3. a extração do preço, do frete e da disponibilidade de cada página;
4. o registro com data, hora, cidade e tipo de conexão;
5. alertas quando um preço muda acima de um percentual.

Ferramentas prontas de monitoramento costumam aceitar uma lista de proxies no formato usuário:senha@ip:porta, o mesmo formato que entregamos.

Erros comuns

• Comparar preços coletados de lugares diferentes como se fossem iguais. Sem anotar cidade e tipo de conexão, a diferença entre dois números pode ser só a região.
• Usar um único IP para tudo. Funciona nos primeiros dias e depois começa a falhar justamente nas lojas mais importantes.
• Coletar rápido demais. Disparar centenas de consultas por minuto num mesmo site gera bloqueios e é desrespeitoso com quem mantém o site.
• Ignorar mudanças de layout. Quando a loja muda a página, o extrator passa a ler o campo errado. Confira amostras toda semana.

Custos de referência

Com os preços de hoje, um monitoramento pequeno começa com 5 IPv4 Brasil, R$ 175 por mês. Um monitoramento médio cabe num MIX de 50 IPs, R$ 590 por mês. Para preço regional, um pacote de 10 GB de residencial, R$ 239,90, rende muitas milhares de páginas de produto. Todos os valores estão na página de preços.

Resumo

Monitoramento de preços confiável depende de ver o que o cliente vê. Para isso, use conexões das regiões que importam, distribua as consultas entre vários IPs e respeite os sites consultados. Para empresas, oferecemos nota fiscal e pacotes sob medida na página Empresas, e a página monitoramento de preços resume os produtos indicados.