Sobre nosso rastreador

O que ele busca

Os feeds RSS/Atom que as pessoas adicionaram, e páginas HTML que servem para perceber novidades em sites que não publicam feed. Só busca páginas públicas; nunca entra em áreas que pedem autenticação.

robots.txt

Para gerar um feed a partir do HTML, respeitamos o robots.txt por inteiro (avaliamos o nosso User-Agent e também o *, e vale o mais rígido; o Crawl-delay também é respeitado). A busca de um feed RSS/Atom comum não é barrada pelo robots.txt: muitos sites bloqueiam ali o próprio feed de assinatura, e obedecer isso quebraria a assinatura de quem lê. Se você quer que a gente pare de buscar, escreva para o endereço abaixo.

Frequência

Uma conexão por vez para cada servidor, com pelo menos um segundo entre uma e outra. O intervalo se ajusta sozinho entre 15 minutos e 24 horas conforme o quanto o site publica de verdade. Sempre enviamos GET condicional (If-None-Match / If-Modified-Since).

Se você devolver 429 / 503

Aumentamos o intervalo de forma exponencial e, se continuar, paramos de buscar aquele servidor automaticamente.

Para pararmos de listar ou de buscar

A geração de feed a partir do HTML para sozinha assim que você adiciona um Disallow para aquele endereço no seu robots.txt. Para tirar das páginas públicas, use o formulário abaixo.

Para pararmos de buscar o próprio feed RSS/Atom, escreva para a gente: support@freefeed.app