スクレイピング頻度の安全な目安が分からない

Question

私は現在、様々なウェブサイトのRSSをスクレイピングして一覧表示する、いわゆる「アンテナサイト」を、勉強もかねて自分のために作っています。

そこで、１分に一度RSSをスクレイピングして、新着記事があればデータベースに保存し、新着記事が無ければ何もしないというプログラムを書き、その処理を１分に一回の頻度で行うようにしようとしたのですが、そのプログラムは各々のサイトのサーバーに一日６０×２４回もリクエストを送ることになり、３６５日運用すれば莫大なリクエストを送り付けことになってしまいます。

なのでせめてと３分に一回に頻度を減らし、一日２０×２４回に減らそうと考えているのですが、この数字は一般的に考えて許容範囲内でしょうか？

<参考情報>
スクレイピング対象サイトは、大手ニュースサイトまたは大手まとめサイト
スクレイピング対象RSSは、RSS配信サイトであればそれを使い、非配信サイトであればRSSジェネレータを使ってRSSを自分で用意して使う

Answer 1

毎分1回で危険なことになるサーバは、今どきないと思いますが・・・
60*24で1440ですが、大手RSS、大手まとめサイトは一日にその100倍くらいは普通にアクセスがあります（もしかしたら1000倍かもしれないが）。気にする必要はないということです。
ただし、そもそもそれ以前にサイトの規約等でスクレイピングを禁止しているということが考えられますから、そっちを気にしてください。法的にまずいことになるリスクを背負い込んでしまうでしょう。

Comments

[lazhuward]

補足しますと、yahooニュースだと1日5億PVぐらいですね。
1分に1回程度でも、何ら問題ありません。
ただ、ニュース更新は1日数回なので毎分取りに行く必要ないとおもいますけど。

Answer 2

3分に1回レベルで問題が起こるとは思えませんが。

新着記事

もしアクセス間隔を間引くとしたら一律で間引くのではなく。
編集に人間の手を介するのとプレスリリース効果を最大限にしたい関係上、
プレスリリースの配信時間帯は大体決まっています。
例）不祥事の発表は株式市場が終わった15時以降にとか。
そういう点も考慮してスクレイピング頻度を間引いたほうがよいのでは。