크롤러 안내

무엇을 가져오나요

이용자가 등록한 RSS/Atom 피드와, 피드를 내보내지 않는 사이트에서 새 글을 알아내기 위한 HTML입니다. 공개된 페이지만 가져오고, 인증이 필요한 영역에는 들어가지 않습니다.

robots.txt를 어떻게 다루나요

HTML에서 피드를 만들어 낼 때는 robots.txt를 전면적으로 지킵니다(우리 User-Agent와 *를 모두 보고 더 엄격한 쪽을 따르며, Crawl-delay도 지킵니다). 보통의 RSS/Atom 피드를 가져오는 것은 robots.txt로 막지 않습니다. 자기 구독용 피드를 robots.txt로 닫아 둔 사이트가 많고, 그대로 따르면 읽는 사람의 구독이 성립하지 않기 때문입니다. 가져오기를 멈추길 원하시면 아래로 연락해 주세요.

빈도

같은 서버로는 한 번에 한 연결만, 최소 1초 간격으로 갑니다. 그 사이트가 실제로 얼마나 자주 올리는지에 맞춰 15분에서 24시간 사이로 간격을 스스로 조정하고, 갱신이 없는 곳은 가지러 가지 않습니다. 조건부 GET(If-None-Match / If-Modified-Since)은 항상 보냅니다.

429 / 503을 돌려주시면

간격을 지수적으로 늘리고, 계속되면 그 서버는 자동으로 가져오기를 멈춥니다.

수록이나 가져오기를 멈추고 싶을 때

HTML에서 피드를 만들어 내는 것은, robots.txt에 해당 주소의 Disallow를 넣으면 자동으로 멈춥니다. 공개 페이지에서 빼는 것은 아래 페이지에서 신청할 수 있어요.

RSS/Atom 피드를 가져오는 것 자체를 멈추고 싶다면 이쪽으로 연락해 주세요: support@freefeed.app