PHPでスクレイピングをする際の、一度のリクエスト数の上限を知りたいです。

Question

PHPでスクレイピングをする際の、一度のリクエスト数の上限を知りたいです。
現在、curlのマルチ機能を使って、一度に100件の検索を行っているのですが、途中で以下のような表示のHTMLが返ってきます。

お使いのコンピュータ ネットワークから非常に多くの「画像で検索」リクエストが検出されました。しばらくしてからもう一度リクエストを送信してください。

一度に並行して100件のリクエストを行っているからだと思うのですが、なにか解決法はありますでしょうか。
また、上限などは存在するのでしょうか。
よろしくおねがいします。

Answer 1

一度に並行して100件のリクエストを行っているからだと思うのですが、なにか解決法はありますでしょうか。

また、上限などは存在するのでしょうか。

スクレイピングをする以上は、明確に許可をとったなどの特殊事情があるのでなければ相手の迷惑にならないように実行するのが必須です。1秒に1リクエスト以上はかけないほうがいいでしょう。

（このように機械的な抑止手段を行ってくることから考えると、規約でスクレイピングを禁止している可能性もあります。続ける前に規約で禁止されていないかも確認してください）

Comments

[maisumakun]

タグに「Google API」が入っていますが、Googleへの機械的な検索リクエストは禁止されています。

https://support.google.com/webmasters/answer/66357?hl=ja

[退会済みユーザー]

「PHPでスクレイピングをする際の、一度のリクエスト数の上限を知りたい」という事でちたら、多分、Googleしゃんに訴えられた時にしていたリクエスト数がGoogleしゃんの堪忍袋の上限という事だと思うのでちゅ。

Answer 2

Webの通信仕様としては上限はありませんが、質問欄に記載されてます応答のhtmlから
相手側サーバが意図してリクエストを拒否していると思われます。

解決法としては非常に多くの「画像で検索」リクエストと判断されないような頻度でリクエストを送るか、
可能なのであれば相手側サーバに制限をはずしてもらう、といったものになります

スクレイピングに関しては大した負荷をかけていないのに逮捕された事例とかもあるのでお気をつけください。

※事例として適切ではないとのコメントいただきましたので、リンクは削除しました。

Comments

[退会済みユーザー]

そこでりぶはっく事件のリンクを貼るのは論理的に破綻しているとおもうのでちゅ。
りぶはっく事件はえんじゃいというか、ししゅてむべんだの杜撰な仕事が悪い例なので、
このしちゅもんには向いていないと思うのでちゅ。

DDoS攻撃のゆうじゃい判決の方が良いとおもうのでちゅ。

[Eggpan]

確かに、Librahackの作者様は負荷を考慮して作成されており、
質問者様がやりたい上限を超えたリクエストとは全く逆の方向になりますね。
リンクは適切ではないと思いますので、削除いたしました。

サーバ管理者側からしたらどっちも不正アクセスだ！といわれて逮捕までなる可能性があるのが日本の怖い所です・・。

[退会済みユーザー]

大人の人はこわいでちゅ。ぢぶんたちの勝手な都合で人を悪者よばわりしたりしまちゅ。
「おまえは悪い奴だ、バンだ！」って言うでちゅ。
こわいでちゅぅ。