給 網站 經營 者
本頁說明如何加上讓讀者一鍵訂閱的按鈕、freefeed 如何抓取你的網站,以及想要停止收錄時該怎麼做。
查 詢你 的 網站 是否 已 收錄
輸入網域後,會開啟 freefeed 目前從該網站抓取的來源清單頁面。
例如:example.com
freefeed 會 收錄 與 不會 收錄 的 內容
- 文章本文
- 不會收錄。公開頁面只會顯示標題與連結,最多到最近 10 篇文章。
- 沒有提供 RSS 或 Atom 來源的網站的文章
- 會收錄。freefeed 會從列出文章的頁面網址擷取標題,組成來源的形式(擬似訂閱來源)。不過,這不會出現在用網域查詢的清單頁面(「查詢你的網站是否已收錄」一節)中。
- 已申請停止收錄的網站
- 不會收錄。會從公開頁面,以及用網域查詢的清單頁面中移除。
- 已經無法抓取的來源
- 不會收錄。如果長時間持續抓取失敗,就會從公開頁面移除。
- 出現在搜尋引擎中
- 剛收錄、文章還很少的來源,頁面本身是存在的,但不會出現在搜尋結果中。等文章累積得夠多,就會自動出現在搜尋結果裡。
關於 我們 的 爬蟲
freefeed 的爬蟲(FreeFeedBot/1.0)會定期抓取一般的 RSS/Atom 來源。對同一主機最多同時開 2 個連線,間隔至少 1 秒。抓取間隔會依網站的更新頻率,在 5 分鐘到 24 小時之間自動調整,並使用條件式 GET(If-None-Match / If-Modified-Since),因此沒有更新時的負擔會降到最低。
想要 停止 被 收錄 時
如果希望停止收錄,請透過申請停止收錄的表單提出申請。在確認網域所有權之後,我們會自動處理。如果想連 RSS/Atom 來源的抓取本身都停止,請不要用表單,改寫信到 support@freefeed.app 與我們聯絡。
常見 問題
- 一般的 RSS/Atom 抓取可以用 robots.txt 擋掉嗎?
- 不行。很多網站在 robots.txt 裡擋掉了自己的訂閱來源,若照做,讀者的訂閱就無法成立。如果想停止抓取,請從上面的「想要停止被收錄時」與我們聯絡。從沒有提供來源的網站組出文章的處理(擬似訂閱來源),只要在 robots.txt 加上 Disallow 就會自動停止。
- 持續發生錯誤的網站會怎麼處理?
- 如果回傳 429 或 503,我們會逐步拉長抓取間隔。如果錯誤持續發生,就會自動停止抓取該網站。
- 支援 WebSub(PubSubHubbub)會有什麼不同?
- 一般的抓取方式是不管有沒有更新,都按固定間隔去看一次。如果支援 WebSub 的 hub,一有更新,freefeed 這邊就會收到通知,不用等到下一次抓取間隔就能反映新內容。WordPress 等許多部落格服務預設就支援這個功能。
- 訂閱人數徽章會直接顯示實際人數嗎?
- 不會。會顯示四捨五入後的值:未滿 10、10+、20+、50+、100+ 等。這是為了避免從很少的人數推測出個別訂閱者是誰。
- 任何人都可以申請停止收錄嗎?
- 不行。我們會先用 DNS TXT 記錄、.well-known 檔案或 robots.txt 其中一種方式確認網域所有權,之後才會自動處理。這是為了防止第三方惡意提出申請。
- 如果申請從公開頁面移除,讀者的訂閱會怎麼樣?
- 會繼續。只從公開頁面(/feed/…)移除,並不會停止 RSS/Atom 來源的抓取,也不會停止對已經訂閱的讀者的提供。如果想連抓取本身都停止,請不要用表單,改用電子郵件與我們聯絡。