最適なスクレイピング学習方法を教えてください

Question

許可をもらった複数サイト内の全コンテンツを対象に定期的にクロールしてソースを取得するクローラーを作ろうと思っています。（JavaScriptのリンクも読み取る仕様で）

最低でも100サイト✕1000ページくらいを巡回する事ができるようなものを作ろうと思うのですが、どのような言語？を学習すればよいでしょうか？

ネットで色々調べたところ、
VPS（さくらVPSが良さそう？）を契約して
python、Seleniumを覚えれば
なんとかなるのかな？？？って感じがしているのですが、まったくもって確証がもてません。

当方、HTML、CSS、PHP、Javascriptくらいしか分からず、サーバ周りも詳しくありません。

上記用途のような場合、どのような学習方法が最適でしょうか。
どの言語が良い。どのページが参考になる。どの本が良い等、何でも良いので情報を教えていただければ幸いです。
よろしくお願いいたしますm(_ _)m

Answer 1

そこに記載されている情報はそれほど古いものではないと思います。pou

Answer 2

言語でいうとRubyが良いかなと思います。
Ruby以外の言語のクローラー製作の経験がないため他言語との比較はできませんが、Rubyには問題なく使えるフレームワークが充分揃っているので、最終的に必要なクローラーが完成する道筋があると思います。
参考資料としてはRubyによるクローラー開発技法っていう赤い本が勉強になりました。まだ載っている情報はそれほど古くないと思います。

Comments

[coinbura]

貴重な情報ありがとうございます！

amazonでタダ読みできるところまでその本を読んでみました。

またその後、本の作者様のサイトを見ていたのですが、

nokogiri(Ruby) 　＞　BeautifulSoup(Python)
Scrapy(Python)　＞　anemone(Ruby)

との事でした。
なので、フレームワークで作るならPython。ライブラリから作るならRubyなのかなぁと考えました。

この本の内容が、クローラーを勉強するのにかなり良さそうなので、Rubyを使いたいところですが、
Rubyは2012年に開発が止まっているanemoneしかフレームワークがない（？）ところがネックとなりそうですね。

RubyかPython、どちらにするか、というところまで絞れました！
ありがとうございますm(_ _)m

[退会済みユーザー]

Rubyならanemoneの他にcapybaraがありますよ。（クローラーのフレームワーク？ではないかもしれませんが。）

[coinbura]

capybara、フレームワークではないようですが、JS実行には良さそうな感じしますね♪
ありがとうございます☆

Answer 3

私は簡単なイラスト収集クローラしか作ったことがありません。
恐らくPythonだけだとJavaScriptが扱えないという理由で
Seleniumが必要なことになっているのだと私は思います。

言語はお好きなもので良いと思います。

サイト毎に専用のクローラを作ることになると思います。

Rubyならcapybara&PhantomJS
C#ならHtmlAgilityPack&ScrapySharpなどが考えられます。

参考
Rubyでスクレイピングしてみました。
C#のScrapySharpでスクレイピングする

Comments

[coinbura]

「サイト毎に専用のクローラを作ることになる」のはなぜでしょうか？
ソースを取得するのに、サイトごとで処理が違うということもないと思うのですが・・・

[退会済みユーザー]

まず私がクローラ初心者だということを覚えておいてください。
（ついでにHTMLもJavaScriptも分かりません。）
私の言っていることを信じてはいけません。

今思えば、Rubyのmechanizeを使って
linksでリンクを抜き出してeachで回すという
クローラを作れば、サイト毎にクローラを用意する
必要が無いかもしれません。

質問に答えた当時の私は、サイトによって
ソースコードが異なっているので
（サイトの他のページの）urlの抜き出しや
（JavaScriptを動かす）クリックの再現などで
サイト毎にクローラに変更を加えないといけない
のではと考えていました。

[coinbura]

なるほど。「サイト毎に専用のクローラを作ることになる」となると、この試み自体無理かなぁと思ったので、不安になってちゃいました(^^A
ご丁寧にありがとうございます。