Q&A
rubyでクローラーを作ろうと思っていますが、
著名なAnemoneさんは、バージョンが古く、Mongoも使えない状態で、
使うにはいじらないといけないなというのが感想です。
モノとしては最高なんですけどね。
なので、Anemone以外で、クローラーでおすすめのgem等はありますか？
要件として
・ドメイン以下のクローリング
・nokogiriまでサポートしていなくてもいい
・クロール済みの記憶を、DBなりで管理可能
よろしくお願いします。
回答1件
0
ruby でクローラ、スクレイピングといえば僕は、Nokogiri が真っ先に思いつきます。
構文解析に、XPath を使っているので W3C のお墨付き？というイメージで信用していますよ笑
投稿2016/05/05 13:42
総合スコア209
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。