質問編集履歴
1
まわりくどく書いていたら丸投げ質問だと修正依頼が複数きてしまったので、単刀直入に聞きたいことだけ書きました！
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,75 +1,9 @@
|
|
|
1
|
-
###
|
|
1
|
+
### 質問！
|
|
2
2
|
|
|
3
|
+
WEBスクレイピング自体の高速化を図る場合、なんの言語がおすすめですか？
|
|
3
4
|
|
|
5
|
+
JAVAのjsoupでは時間がかかってしまって実用化が難しいので開発し直す必要がありまして、
|
|
4
6
|
|
|
5
|
-
|
|
7
|
+
みなさんの経験から、意見いただけると嬉しいです！！！
|
|
6
8
|
|
|
7
|
-
このシステムを高速にする方法をさがしています。
|
|
8
|
-
|
|
9
|
-
|
|
10
|
-
|
|
11
|
-
### 発生している問題・エラーメッセージ
|
|
12
|
-
|
|
13
|
-
|
|
14
|
-
|
|
15
|
-
はじめはAPIで商品情報を取得する予定だったので、公式からサンプルコードが提供されていたJAVAで開発していましたが、いろいろあってAPIを利用できないことが判明しました。
|
|
16
|
-
|
|
17
|
-
|
|
18
|
-
|
|
19
|
-
急遽、jsoupを使って商品情報をスクレイピングする方向に変えたのですが、
|
|
20
|
-
|
|
21
|
-
1商品の情報を取得するのに10秒もかかってしまい実用化が厳しい状況です。
|
|
22
|
-
|
|
23
|
-
|
|
24
|
-
|
|
25
|
-
### 該当のソースコード
|
|
26
|
-
|
|
27
|
-
|
|
28
|
-
|
|
29
|
-
|
|
9
|
+
お願いします！！
|
|
30
|
-
|
|
31
|
-
import java.io.IOException;
|
|
32
|
-
|
|
33
|
-
import org.jsoup.Jsoup;
|
|
34
|
-
|
|
35
|
-
import org.jsoup.nodes.Document;
|
|
36
|
-
|
|
37
|
-
import org.jsoup.nodes.Element;
|
|
38
|
-
|
|
39
|
-
import org.jsoup.select.Elements;
|
|
40
|
-
|
|
41
|
-
|
|
42
|
-
|
|
43
|
-
class testcode {
|
|
44
|
-
|
|
45
|
-
|
|
46
|
-
|
|
47
|
-
public static void main(String[] args) {
|
|
48
|
-
|
|
49
|
-
|
|
50
|
-
|
|
51
|
-
try {
|
|
52
|
-
|
|
53
|
-
|
|
54
|
-
|
|
55
|
-
String url = "https://www.test.co.jp/";
|
|
56
|
-
|
|
57
|
-
Document doc = Jsoup.connect(url).get();
|
|
58
|
-
|
|
59
|
-
|
|
60
|
-
|
|
61
|
-
System.out.println(doc.select("#Info").first().text());
|
|
62
|
-
|
|
63
|
-
|
|
64
|
-
|
|
65
|
-
}catch(IOException e) {
|
|
66
|
-
|
|
67
|
-
e.printStackTrace();
|
|
68
|
-
|
|
69
|
-
}
|
|
70
|
-
|
|
71
|
-
}
|
|
72
|
-
|
|
73
|
-
}
|
|
74
|
-
|
|
75
|
-
```
|