Q&A
APIが用意されているサイトの場合、スクレイピング等のAPI以外の方法で情報を得ようとする行為は規約違反となっていることが多いですが、その点は大丈夫でしょうか？
質問！
WEBスクレイピング自体の高速化を図る場合、なんの言語がおすすめですか？
JAVAのjsoupでは時間がかかってしまって実用化が難しいので開発し直す必要がありまして、
みなさんの経験から、意見いただけると嬉しいです！！！
お願いします！！
>javahackさん
指摘いただいた問題は、大丈夫です。
「大丈夫」とだけで本当に大丈夫か確かめようがないので何かしらきちんと情報だされたほうが良いかと思います。
回答3件
0
自己解決
複数の言語・ライブラリで試したところ速度改善し解決しました
経験則からスクレイピングが早い言語やライブラリってわかるのかな？と思っての質問でしたがここまで低評価つくとは笑
投稿2020/09/21 08:09
総合スコア4
> ここまで低評価つくとは
一言で「時代」だと思います。
ナローバンド時代のBlogにRSSが考案された頃は、効率的に情報共有するためにスクレイピングは歓迎される技術でした。現在のブロードバンド時代には逆に嫌悪される技術になっています。
恐らくですが、リスエスト数などを金額算出の単位にした従量課金サービスの登場で、機械的なアクセスを不本意なランニングコストと捉える例もあるからでしょう。
スクレイピングを題材にすると、ネガティブな評価がつきやすい（そんなものだ）と思ったほうがいいかもしれません。
0
回答になっておらず、申し訳ありません。
今がどのぐらいの速度で、どのぐらいの速度が目標なのかが分からないので、
なんとも言えないのですが、言語やフレームワークを変えても、劇的に速度は上がらないと思います。
そもそも、スクレイピングは外部サイトに接続する関係上、速度の担保が難しいです。
まずは、速度が遅延している原因、主に以下があげられるものどれかを絞ってみてはいかがでしょうか。
おそらく、一番時間がかかっているのはHTML取得です。
そのうえで、改善できるところは改善し、難しいものは難しいと説明するのも一つの方法だと思います。
・スクレイピング先サイトからのHTML取得
・HTML解析
・上記以外の処理
投稿2020/09/19 13:13
総合スコア295
0
スクレイピングが異様に遅い場合には、対象サイトのWAFがわざとレスポンスを遅らせている可能性があります。
投稿2020/09/19 07:07
総合スコア6142
そんなことあるんですね！
では他のサイトも同じソースでスクレイピングをしてみて、まずは異様な遅さなのかを確認してみようと思います！ありがとうございます。
あなたの回答
tips
プレビュー
