nodejsのスクレイピングモジュールについて

Question

nodejsでスクレイピングを行おうと思い「cheerio」、「nightmare」あたりが
良さそうだと考えているのですが、それぞれのメリット、デメリット、違い、が知りたいです。
以下のように考えているのですが、間違い無いでしょうか？

■cheerio
・リクエストのhtmlをパースしてくれる。
・nightmareより早い。
・javascriptによって生成されたhtmlは取得できない。
・ブラウザの操作はできない。

■nightmare
・バックグラウンドでヘッダーレスのブラウザが走っているので、cheerioより遅い。
・ブラウザの操作ができる。
・javascriptによって生成されたhtmlが取得できる。

ログイン処理等クロールしたい場合は「nightmare」だと思うのですが、
そうでない場合は「cheerio」を使うべき(早いので)という認識であっていますか？
またほかにスクレイピングでお勧めのモジュールはありますか？
詳しい方いらっしゃいましたらご教授ください。

Answer 1

概ね質問文の理解で十分だと思うよ。

ログイン処理等クロールしたい場合は「nightmare」だと思うのですが、

そうでない場合は「cheerio」を使うべき(早いので)という認識であっていますか？

多くのサーバーのログイン処理はクッキーにより行われるので、普通のHTTP通信とクッキーを保存してやれば事足りる。
なので、ログイン処理等を「正規の手順をエミュレートしつつ」行うなら「nightmare」と表記すると、より正しい表現と呼べそうだね。

まぁ、画像認証云々が来たらどっちもお手上げなんだけど、
例えばAzureやGoogleのライブラリのでは認証URLだけ表示して、Chromeで普通にログインしてログインしたという結果をもって処理の続きを行う。
その発想をお借りして、サードパーティーで実装するならどこかのディレクトリにChromeのクッキー情報を保存して、それを参照しつつ残りの処理を行うみたいな回避策は作れば実現できそうだね。

話が脱線したので戻して、
実践的な使い分けとしては、SPAのサイトを解析する場合は「nightmare」のようなヘッドレスブラウザーが必須。
それ以外はほぼ全て「cheerio」などのHTML解析ライブラリで十分って感じかな。

Comments

[morningglow]

理解が深まりました。回答ありがとうございます。