Perlでクローラをつくろうとしています。
用途としては普通にwebを巡回するのではなく、とあるログイン必須のページ(ステートフル)にログインして目的のデータを取得するというものです。
クローラを作るうえで、スレッドの制御について調べてみたところ
CoroとAnyEventというものを見つけました。
参考url
http://gihyo.jp/dev/serial/01/perl-hackers-hub/002203
参考urlによるとCoroでしか実現できないものは、Coroを使いそうでないならAnyEventを使ったほうが良いと記述されています。
これらのライブラリを扱ったことがある方で、Coroでしか実現できないことをご存知のかたいらっしゃいますか?
もう1点質問があります。
私がつくろうとしているクローラーの案なのですが
Coro
もしくは AnyEvent
でスレッド制御 => WWW::Mechanize
で、ページングやhtml取得 => Web::Scraper
で、html解析して取得と言った感じです。
WWW::MechanizeとWeb::Scraperは、分けなくてもよさそうですが、責務を分けたほうが全体として分かりやすいかなと思ってます。
アドバイス頂ければ恐縮です。
質問が2点になってしまいましたが、どちらか1点でも構いませんので回答いただけたらありがたいです。
あなたの回答
tips
プレビュー