Googleを対象にループ処理する場合の適切な間隔

Question

Googleキャッシュ（http://webcache.googleusercontent.com/search?q=cache:{URL}）をPHPからcurlにて取得しようとしています。最初はうまくいっていましたが、何回か繰り返したところ、Google側からリジェクトされてしまいました。

ただ、sleep(3)などとして、3秒ほど間隔をとれば問題ないようです。

そこで質問ですが、Googleを相手に自動巡回するような場合（上記のようなキャッシュサーバ含め、例えばジオコーディングなども）どの程度のsleepを入れればリジェクトされずに済むでしょうか？このあたりの知見をお持ちの方はおられないでしょうか。

よろしくお願いします。

Comments

[退会済みユーザー]

目的がわからないのでつまらない質問になってしまうのですが、頻繁に再取得しなければならない理由がわからないのですが、自前でキャッシュを構築しておくなどしてアクセス頻度を落とすことは検討しないのでしょうか？

[退会済みユーザー]

ご確認ありがとうございます。1つのURLを何回も取りに行っているのではなく、複数のURL（数十個以上）を連続して取ろうとしているのです。

[退会済みユーザー]

本当は実サイトの方を巡回したいところを、何らかの理由でGoogleのキャッシュをアテにして巡回していると。

[退会済みユーザー]

いえ、キャッシュ日時が知りたかったのです。

Answer 1

そもそも論ですが、Googleを相手にスクレイピングを試みること自体、よろしくないことではないかと思います。

検索結果については、スクレイピングの禁止をヘルプに明記しています。

Google の利用規約では、どのような種類かに関わらず、自動化されたクエリを Google から明示的な許可を事前に得ずに Google のシステムに送信することは禁止されています。

Comments

[退会済みユーザー]

ありがとうございます。そうですよね。個人的目的であろうが「どのような種類かに関わらず」ですよね。了解しました。