RSS 피드가 없는 사이트를 따라가기
피드를 내보내지 않는 사이트도 따라갈 수 있습니다. 글이 나열된 페이지에서 새 글을 알아냅니다.
피드를 내보내지 않는 사이트는 많습니다
기업의 소식 페이지, 공공기관 사이트, 개인 일기에는 RSS가 아예 없는 경우가 많습니다. 예전에는 있었는데 개편 때 없앤 곳도 있습니다.
이 서비스는 그런 페이지에서 제목을 읽어 피드로 엮을 수 있습니다. 로그인한 뒤에 쓸 수 있어요.
쓰는 법
사이트를 추가할 때, 글이나 소식이 나열된 페이지의 주소를 넣습니다. 피드를 찾지 못하면 그 페이지에서 제목을 읽는 방법을 제안합니다.
글 하나만 있는 페이지나, 내용이 그냥 돌아가기만 하는 첫 페이지에는 맞지 않습니다. 날짜가 붙은 제목이 세로로 이어지는 페이지가 가장 잘 맞습니다.
가져오기 규칙
가져오는 비용이 커서, 보통의 피드와 다르게 다룹니다.
- 페이지는 한 시간에 한 번 확인합니다
- 한 페이지에서 가져오는 것은 최근 20건까지입니다
- 본문은 가져오지 않습니다. 제목과 링크만 받습니다
- robots.txt로 거부한 사이트에서는 만들 수 없습니다. 우리 User-Agent와 * 를 모두 보고 더 엄격한 쪽을 따릅니다
진짜 피드와 무엇이 다른가요
사이트의 HTML을 보고 만들기 때문에, 화면 구성이 바뀌면 잡히는 것도 달라집니다. 새 글을 놓치는 일도, 글이 아닌 것이 섞이는 일도 생길 수 있습니다.
항목마다의 식별자와 정확한 발행 시각은 피드처럼 얻을 수 없어서, 순서가 기대와 다르게 나올 수 있습니다.
사이트가 다시 피드를 내보내기 시작하면 그쪽으로 바꾸는 편이 더 확실합니다.
사이트 운영자인데 이것을 멈추고 싶다면
robots.txt에 해당 주소의 Disallow를 넣으면 자동으로 멈춥니다. 저희에게 따로 요청하지 않아도 됩니다.
이미 만들어진 피드를 지우거나 공개 페이지를 내리는 등 그 밖의 일은, 크롤러 안내 페이지에서 이어지는 양식으로 신청할 수 있습니다. 도메인 소유를 자동으로 확인한 뒤에 처리합니다.
자주 묻는 질문
- 본문도 가져가나요?
- 가져가지 않습니다. 제목과 링크뿐입니다.
- 페이지는 얼마나 자주 확인하나요?
- 한 시간에 한 번이고, 최근 20건까지 가져옵니다.
- 로그인하지 않고도 쓸 수 있나요?
- 없습니다. 가져오는 비용이 커서 로그인한 분만 쓸 수 있습니다.
- 내 사이트에서 이것이 만들어지지 않게 하려면?
- robots.txt에 해당 주소의 Disallow를 넣으세요. 저희에게 요청할 필요 없이 자동으로 멈춥니다.