webスクレイピングするならどの言語がよさそうでしょうか？

Question

webスクレイピングで情報収集をできるようになりたいのですがどの言語を用いるのが良さそうでしょうか？各方法のメリットデメリットがいまいちわからず選ぶのに困っています。rubyをメインで書いているんですがrubyとの違いを得に知りたいです。nokogiriかbeautiful soupかの違いになるんでしょうか？

Comments

[m.ts10806]

どこでそのような情報を目にしたのでしょうか。 >pythonがwebスクレイピングで主流 　また、この質問をした意図、落とし所を明確にしてください。「それを聞いてどうしたいの？」という部分です。現時点では課題や問題が発生しているようには思えません。 https://teratail.com/help/avoid-asking >漠然とした興味から票を募るような質問や、意見の主張をすることを目的とした投稿は推奨していません。 何か困っている理由があり、最適解を見つける為の知見を得たい場合は、その理由や何が知りたいのかを明確に記述してください。

[you88]

語弊招いてすみませんでした。たしかに主流という言い方は良くなかったですね。修正させてもらいました。目的は技術選択の相談でwebスクレイピングをするにあたって技術選択する際の各手法のメリットデメリットを相談したいというものでした。こちら修正させていただきました。

[m.ts10806]

いずれにしても今の質問内容では「課題・問題が発生していない」状態です。　また、この質問をした意図、落とし所を明確にしてください。「それを聞いてどうしたいの？」という部分です。

[you88]

繰り返しになりますが技術選択するにあたって選ぶ基準がわからないという課題が発生していてそのメリット・デメリットを教えてもらっている状態です。そしてそれに対しての回答も来ているので課題も目的も提示していてその回答も来ているという状態ですが逆にmts10806さんはなにを求められていますか？

[m.ts10806]

見当違いだったら申し訳ないですが、結局のところ自分でやってみて感じるしかない部分だからです。例えば「Pythonが最適ですよ」という回答がついたとして、学習して使いこなせるかどうかは自身のリソースによるかと思います。結局どのような言語を用いてもおおよそ実現が可能である場合、「メリットデメリット」は人によって違います。各言語の習熟度にもよるでしょう。それと天秤にかけたとき、結局のところ「自分の得意な言語でやります」という回答でとどまることとなり、メリットデメリットの説明までできません。なので他の回答とも重複しますし私は回答を保留しています。

[you88]

なるほど。まず最初あげてもらった問題点が課題が明確じゃないだったと思うんですがそれは問題なかったという認識でいいでしょうか？今あげてもらった次の問題点はメリットデメリットが人によって違うものだからで良いでしょうか？で、もちろん自身のスキルによりますが日本語文献多いかやその後の処理考えて選んだ方が良いよなど僕的には有益な情報をもらえているので引き続き掲載させてもらいます。また問題ありましたら仰ってください。

[yukihisa]

細かいけど語弊は「ある」もので「招く」のは誤解です。語弊=誤解を招く言い方なので。あと、得に→特にですね。mts10806様が言いたいのは、結局回答が「どの言語でも実現可能だし、それぞれにメリットデメリットがあるので最終的に好みの問題」になってしまう可能性が高い(実際そういう回答がついている)ので、落としどころを明確にしないとただのアンケートになってしまうということです。teratailは今後同じ問題に直面する同輩たちの為のサイトでもあるので、あなただけに有意義なものではよろしくないです。

Answer 1

Rubyが一番得意なら、主流がどうとか関係なく、Rubyでコードを書けばいいと思います。
ちなみに私ならまよわずperlを選択します。なぜなら私がもっとも慣れ親しんでいる言語がperlであって、必要十分な機能・性能を発揮できることがはっきりわかっているからです。

なお、スクレイピングにのみ着目するのも考え物です。スクレイピングがゴールではなく、その先の処理が何かあるはずです。その部分も含めて総合的な効率を考えましょう。

Comments

[you88]

>なお、スクレイピングにのみ着目するのも考え物です。スクレイピングがゴールではなく、その先の処理が何かあるはずです。その部分も含めて総合的な効率を考えましょう。

そうですね。そちら抜けていました。ありがとうございます。

Answer 2

pythonがwebスクレイピングで主流なんて、これまで聞いたことがありませんが・・・

できれば軽量プログラミング言語で書きたいタスクですよね。そうすると、その時々で主流レベルで流行ってるLLが「webスクレイピングでも主流」という扱いになるのでしょう。最近はpythonです（特に世界的には）。

ということだと思って私は納得しました。本当かどうかはわかりません。

---

rubyとの違い
nokogiriかbeautiful soupかの違いになるんでしょうか？

nokogiriとbeautiful soupなら、たぶん多少の使い勝手の違い以上の差はないでしょう。

それで、今どきのモダンでリッチなサイトのスクレイピングだとseleniumなんか使う機会も多いでしょう。seleniumはpythonでもrubyでも使えます。

要するに、本質的に違うことはそんなにないので、それほど本質的ではないところ（流行り廃れ、好き嫌い、得手不得手）で選んでも後悔はしません。

---

ただし、新し目の情報やライブラリに関してはpythonの方が充実しています。なので、そういうところに魅力を感じるのならpython。

（pythonは英語情報はともかく日本語情報が・・・とずっと言われてきましたが、ここ数年は日本語圏でも情報が充実してきた感があります。なので、普通に使えます）

Comments

[you88]

>pythonがwebスクレイピングで主流なんて、これまで聞いたことがありませんが・・・

主流という言い方たしかに極端な言い方だったので修正させていただきました。

>できれば軽量プログラミング言語で書きたいタスクですよね。そうすると、その時々で主流レベルで流行ってるLLが「webスクレイピングでも主流」という扱いになるのでしょう。最近はpythonです（特に世界的には）。

そうですね。そういう意味で主流と表現させていただきました。

>pythonは英語情報はともかく日本語情報が・・・とずっと言われてきましたが、ここ数年は日本語圏でも情報が充実してきた感があります。なので、普通に使えます

ありがとうございます。非常に参考になります。

Answer 3

Webスクレイピングするなら何言語？Python、Ruby、またはJavaScript？
ご参考まで。