クローラについて
FreeFeedBot/1.0 (+https://freefeed.app/bot)
このクローラが取得するもの
ユーザーが登録した RSS/Atom フィードと、フィードを配信していないサイトから更新を検出するための HTML です。取得するのは公開されているページのみで、認証が必要な領域には入りません。
robots.txt の扱い
HTML 解析による擬似フィード生成では robots.txt を全面的に遵守します（自 User-Agent と * の両方を評価し、厳しいほうに従います。Crawl-delay も尊重します）。通常の RSS/Atom フィードの取得については、そのフィード URL 自体が robots.txt で明示的に Disallow されている場合に停止します。
頻度
同一ホストへの同時接続は1、最低1秒間隔です。フィードの更新頻度に応じて15分〜24時間の範囲で取得間隔を自動調整し、更新のないフィードには取りに行きません。条件付きGET（If-None-Match / If-Modified-Since）を必ず送ります。
429 / 503 を返した場合
指数バックオフで間隔を広げ、連続する場合はそのホストの取得を自動的に停止します。
掲載や取得を止めたい場合
robots.txt に該当 URL の Disallow を追加していただければ、こちらで何もしなくても自動的に停止します。それ以外の希望（公開ページからの削除など）は次のページから申請できます。
削除・除外を申請する