クローラについて

このクローラが取得するもの

ユーザーが登録した RSS/Atom フィードと、フィードを配信していないサイトから更新を検出するための HTML です。取得するのは公開されているページのみで、認証が必要な領域には入りません。

robots.txt の扱い

HTML 解析による擬似フィード生成では robots.txt を全面的に遵守します（自 User-Agent と * の両方を評価し、厳しいほうに従います。Crawl-delay も尊重します）。通常の RSS/Atom フィードの取得は robots.txt では止めていません。購読用のフィードを robots.txt で閉じているサイトは多く、そこに従うと読者の購読が成立しなくなるためです。取得を止めたい場合は下記からご連絡ください。

頻度

同一ホストへの同時接続は2、最低1秒間隔です。フィードの更新頻度に応じて5分〜24時間の範囲で取得間隔を自動調整し、更新のないフィードには取りに行きません。条件付きGET（If-None-Match / If-Modified-Since）を必ず送ります。

429 / 503 を返した場合

指数バックオフで間隔を広げ、連続する場合はそのホストの取得を自動的に停止します。

掲載や取得を止めたい場合

擬似フィードの生成は、robots.txt に該当 URL の Disallow を追加すれば自動的に止まります。公開ページからの削除は次のページから申請できます。

RSS/Atom フィードの取得そのものを止めたい場合は、こちらへご連絡ください: support@freefeed.app