スクレイピングを学ぶ方法

Question

現在、Rubyでスクレイピングを学びたいと考えております。

インターネットサイトで検索するといくつかスクレイピングに関する記事が出てくるようですが、どれも１から学んだり、応用展開する事じゃ難しそうに感じます。

スクレイピングを勉強した事のある方、何か良いサイト例等はございますでしょうか？

よろしくお願い致します。

Answer 1

スクレイピングを学ぶ前に法律的な制限を学ぶことをオススメします。

入り口は以下で良いかと。
【スクレイピングと法律】スクレイピングって法律的に何がOKで何がOUTなのかを弁護士が解説。

スクレイピング入門サイトで明らかな利用規約違反のサンプルを提示している場合もあり、個人的には非常に問題だと思っています。
サイト管理者から見た場合、スクレイピング初心者(問題を起こす可能性の高い人)のアクセスを探し出すのは思っている以上に簡単です。
あまり話題になったことが無いですが、サイト管理者からプロバイダ経由で簡単に警告を行うことが出来ます。警告無視によるプロバイダ契約の解除まではそれほど難しいものではありません。

正しい法律知識とアクセスマナーがクローリングの最低限の下地になるので、スクレイピング以前の問題として、キチンと学んでください。

Answer 2

スクレイピングで何をしたいかによって、学ぶ内容も変わると思います。

私は仕事と趣味でいくつかのサイトをスクレイピングしていますが、その手法は年々変化しています。初期の頃は「とりあえず要件を満たせればなんでもいい」と思って自己流でやっていましたが、その後、「いくらなんでもDOMの分析くらいしないとな」という形でXPathなども使うようになりました。

私の作ったツールの一つに、「クレジットカード情報漏洩を素早く検知する」という目的のものがあります。これですと、以下のような要件で作ることができます。

1. 情報源の見出しのページをHTTPでダウンロードする
2. ダウンロードした中身に「流出」や「漏洩」などのキーワードがないか探す
3. 新しい記事が見つかったことをメールなどで通知する

この中で、1はRubyでもPythonでも、いくらでも記事が見つかるでしょう。2は、ちゃんとやろうと思うと難易度が高いですが、探すだけであればいきなりの正規表現でもいいでしょう。3はメール送信ができればよいので、これも解説には困らないでしょう。

…といかにも簡単そうに書きましたが、実は難しいのは、「それが新しい記事なのか」という判定です。そうでないと、スクレイピングの度毎に同じ記事の通知が飛んでくることになりウザいです。そのためには、ファイルなりデータベースに、履歴を覚えておかなければなりません。その辺は、まぁ要件次第ですね。

先達の知恵に学ぶことはもちろん大切ですが、スクレイピングくらいであれば脆弱性が原因で外部から侵入されたりもしないでしょうから、「作りたいもの」を決めてチャレンジされてみてはどうでしょうか。そうでないと、学習の動機づけという点でも難しいと思います。そうして壁にぶつかれば、あらためてteratailでも質問してもよいし、その「知りたいこと」に適した書籍を教えてもらえば、勉強も捗るでしょう。

Answer 3

おすすめの書籍
・Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例
静的・動的なサイトをRubyでクロールする方法について学ぶことができる。
Rubyの構文について知っている必要がある。

・クローリングハック あらゆるWebサイトをクロールするための実践テクニック
Javaによるクローラーを例に、クローラーを作る際に必要になる知識について広く学べる。
Rubyでクローラーを作る際の情報も少し載っているが若干古め。

・Puppeteer入門 スクレイピング+Web操作自動処理プログラミング
JavaScriptによるクローラーの作成について、開発環境の構築から学べる。
拝読中。

おすすめのサイト
・クローラ作成に必須！XPATHの記法まとめ
上の書籍だけではXPathの情報が足りないので。

Answer 4

個人的なオススメは以下となります。
導入から、各種コマンドについてまで わかりやすく記載されている為、
実装時にお世話になりました。ご参考までに
http://www.seleniumqref.com/

Answer 5

今では高度なプログラミングのスキルが無くとも、ツールを導入することで、WEBスクレイピングは実施可能です。例えばOctoparseようなスクレイピングツールもたくさんありますね。