Sobre nuestro rastreador

Qué descarga

Los feeds RSS/Atom que la gente agregó, y páginas HTML que sirven para detectar novedades en sitios que no publican un feed. Solo descarga páginas públicas; nunca entra en zonas que piden autenticación.

robots.txt

Para generar un feed a partir del HTML, respetamos robots.txt por completo (evaluamos nuestro User-Agent y también *, y gana el más estricto; también respetamos Crawl-delay). La descarga de un feed RSS/Atom normal no se detiene por robots.txt: muchos sitios bloquean ahí su propio feed de suscripción, y hacerle caso rompería la suscripción de quien lee. Si quieres que dejemos de descargar, escríbenos a la dirección de abajo.

Frecuencia

Una sola conexión a la vez por servidor, con al menos un segundo entre una y otra. El intervalo se ajusta solo entre 15 minutos y 24 horas según cuánto publique el sitio de verdad. Siempre enviamos GET condicional (If-None-Match / If-Modified-Since).

Si devuelves 429 / 503

Espaciamos las descargas de forma exponencial y, si sigue pasando, dejamos de descargar ese servidor automáticamente.

Para que dejemos de publicarlo o de descargarlo

La generación de feeds a partir del HTML se detiene sola en cuanto agregas un Disallow para esa dirección en tu robots.txt. Para sacarlo de las páginas públicas, usa el formulario de abajo.

Para que dejemos de descargar el propio feed RSS/Atom, escríbenos: support@freefeed.app