feedlyでRSSを全件取得できる仕組みを知りたいです。

Question

pythonでRSSの全件取得を試みようとしています。
モジュールはfeedparserを使う予定です。

特定サイトにて下記のようにフィード一覧のページをブラウザで閲覧すると、10件ほどしか表示されません。

• http://example.ne.jp/rss2
• http://example.ne.jp/feed

しかし、feedlyで閲覧するとスクロールするたびにどんどん前の記事を取得することができます。これは一度に取得できる件数が制限されているため、随時読み込みを行っていると思っております。

このように過去のrssフィードを取得することはどのようにするのでしょうか？GETを送信する際にリクエストヘッダで何かを指定しているのでしょうか？

Answer 1

Feedly の中の人ではありませんが、、、Feedly は設定された RSS を定期的にクロールして、その情報を自分自身のデータベースに保存していると思われます。

つまり、Feedly は RSS から過去の記事を取得しているわけではなく、過去に取得した RSS の内容をすべて覚えているだけです。

Comments

[mitsuru793]

ご回答ありがとうございます。
RSSから全件取得するということは技術的に不可能ということなのでしょうか。
FeedlyがRSSから記事情報を自分のDBに蓄積しているとなると、Feedlyがサービスを開始するより前から配信されているRSSの情報は辿ることできないですよね。

[ngyuki]

> 技術的に不可能
RSS でどこまでの情報が取得できるかは RSS を提供している側が決めることであって、RSS を取得する側がどうにかできるものではありません。提供側が最新10件のみ、と決めていれば最新10件しか取れませんし、最新100件と決めているなら最新100件までしか取れません。

> サービスを開始するより前
その通りです。実際、わたしはわたしのブログの RSS を Feedly に設定しているのですが、わたしが Feedly を使い始めた頃まで（Google Reader の終了が発表されたころまで）の記事までしか辿れません。

[mitsuru793]

RSSの提供側がどこまで情報を提供するかを制限しているのですね。また、実際に見れないページがあったことを聞けて大変参考になりました。

記事の全取得は別の方法を考えてみます。誠にありがとうございました。