ドメイン毎に分散してクローリングを行うアイデアについて

Question

##やりたいこと

URLのドメインごとに分散したクローリングを行いたい。

例えば、データベースのテーブルに以下のURLが保存されているとします。
https://google.com/1
https://google.com/2
https://google.com/3
https://google.com/4
https://google.com/5
https://google.com/6
https://yahoo.com/1
https://yahoo.com/2
https://yahoo.com/3
https://teratail.com/1
・
・
・

もし、登録されている順に取り出してクローリングを行うとすると、同じドメインが固まっている可能性があります。
その時は相手のサーバーを考慮し次の行へ移るまで、数秒待機する必要があります。

やりたいことはgoogle,yahoo,teratail・・・を同時並行でクローリングすることで、大量の行を最短で回ることができます。
このやり方についてあまり良いアイデアが思いつかなかったので、質問させていただきました。

アイデアなので特に関係ないと思いますが、実際はMySQLにデータを格納し、Pythonで処理を行う予定です。
何か良い案があれば、お教えいただければ幸いです。

Answer 1

昔、自分が並行ダウンローダーを作ったときは、ホスト名から IP アドレスを引き、その IP アドレスのハッシュ値でダウンロードを担当するワーカースレッドを振り分けていました。(あまり参考にはならないと思いますが、そのことを書いた記事 「AnyEvent + Coro での並行ダウンローダの習作 その 2- 昨日知ったこと」)

takumi123 さんのケースでは、ホスト名でハッシュ値をとり、その剰余で振り分ければよいのではないでしょうか。ハッシュアルゴリズムは md5、sha1 で十分だと思いますが、ともかくホスト名からハッシュ値を計算し、それも URL と一緒にデータベースに入れてしまえばいいのではないかと思います (URL を格納しているテーブルにカラム名 hash のカラムを追加)。もし、マルチスレッドやマルチプロセスなどでワーカーが並行して動いている構成で、たとえば並行して 8 個のワーカーが動く場合ならば、ハッシュ値を 8 で割ったときの剰余を (ハッシュ値の代わりに。たとえばカラム名 lane) テーブルに格納すればよいかと思います。
シングルスレッドでやる場合も lane を考慮して、同じ lane の URL に連続してアクセスしないようにすればよいかと思います。やりかたはいろいろありますが、たとえば、最初は lane 0、 次は lane 1、次は lane 2 の URL をテーブルからひっぱってきて、その URL にアクセスするようにする、とか。

Answer 2

こんな感じでどうでしょうか。

• テーブルにステータス列を設けて、「未取得」「取得中」「取得済」を入れる事にする
• ステータスを全行とも未取得にする。
• テーブルから未取得の物を取得して、それぞれについて、ホスト名が同じ物で取得中の物がなければ、取得を始めて、ステータスを更新。これを未取得の物が無くなるまで時間をおいて繰り返す。
• 取得中の物の取得が完了すれば、ステータスを更新。

SQLを書きやすくするためには、URL列と別に、ホスト名列を作った方が良いですね。