【スクレイピング】大量のリクエストを並行処理をしたらsleep()をする意味って薄れますか？

Question

こんにちは！

今スクレイピングでとあるサイトからデータを収集しております。
データの件数は１００万件近くあります。

間隔としては、リクエストするたびにsleep()を0〜３秒のランダムに実行するようにしました。
ただ、１００万件のデータを集めるとなると結構時間がかかってしまうので並行処理をしようと思っています。使うコンピューターのCPUが１つしかないので、並列処理はできません。

そこで、疑問がわきました。そもそもSleepする目的は、同じIPアドレスからのアクセスを特定されてブロックされないため（あと、サイトの負担を軽減するためとか、？）だと思います。しかし、並行処理してしまうと結局同じコンピューターからのアクセスが増えるので平均値を考えた時にsleepを設定してもしなくても変わりないのではないでしょうか？

また、CPUが一つしかない中で分散して処理できる方法がありましたら教えていただきたいです。

知見のある方、何卒回答よろしくお願いします。

Comments

[退会済みユーザー]

> 今スクレイピングでとあるサイトからデータを収集しております。データの件数は１００万件近くあります。

その「とあるサイト」の所有者・管理者から許可をもらっていますか？　過去にクローラを作ってアクセスしたら業務妨害とかで逮捕されたという事例もありますので、お気を付けください。

Answer 1

しかし、並行処理してしまうと結局同じコンピューターからのアクセスが増えるので平均値を考えた時にsleepを設定してもしなくても変わりないのではないでしょうか？

そうですね、並列実行で一気にやってしまうと「相手のサーバにできるだけ迷惑をかけないように行う」という目的から全く反した事態となります。

「１００万件のデータを集めるとなると結構時間がかかってしまう」のは、性質上仕方ないことです。

Comments

[maisumakun]

> 使うコンピューターのCPUが１つしかないので、並列処理はできません。

そんな事はありません。シングルスレッドであってもタイムスライスを切って、マルチタスクを実現できます。

[maisumakun]

相手先から許可をとってやる場合を除いて、そもそも「大量のリクエストを並行処理」すべきではありません。