回答編集履歴
3
詳細に
test
CHANGED
|
@@ -36,16 +36,20 @@
|
|
|
36
36
|
|
|
37
37
|
|
|
38
38
|
|
|
39
|
-
デメリット
|
|
39
|
+
#### デメリット
|
|
40
40
|
|
|
41
41
|
|
|
42
42
|
|
|
43
|
-
|
|
43
|
+
##### 取得先の相手が望まない形のアクセスとなる
|
|
44
44
|
|
|
45
|
-
|
|
45
|
+
- Sleepや適切なコードを書いても訴訟になったケースあり
|
|
46
46
|
|
|
47
|
-
- 壊れやすい
|
|
48
47
|
|
|
49
|
-
- 相手先でHTMLの構造を変えられると容易に壊れる
|
|
50
48
|
|
|
49
|
+
##### 壊れやすい
|
|
50
|
+
|
|
51
|
+
- 相手先でHTMLの構造を変えられると容易に壊れる
|
|
52
|
+
|
|
53
|
+
|
|
54
|
+
|
|
51
|
-
|
|
55
|
+
##### JavaScript やブラウザまでエミュレートすると動作が遅い
|
2
詳細に
test
CHANGED
|
@@ -25,3 +25,27 @@
|
|
|
25
25
|
が、そもそも画像検索に関してはAPIが用意されているので、スクレイピングよりそちらの利用を推奨します。
|
|
26
26
|
|
|
27
27
|
https://developers.google.com/custom-search/v1/overview
|
|
28
|
+
|
|
29
|
+
|
|
30
|
+
|
|
31
|
+
|
|
32
|
+
|
|
33
|
+
スクレイピングは API などが用意されていない等の理由でとる最後の手段という意味が強く、
|
|
34
|
+
|
|
35
|
+
デメリットも多いのでAPIがあるのであればそちらの利用を推奨します。
|
|
36
|
+
|
|
37
|
+
|
|
38
|
+
|
|
39
|
+
デメリット
|
|
40
|
+
|
|
41
|
+
|
|
42
|
+
|
|
43
|
+
- 取得先の相手が望まない形のアクセスとなる
|
|
44
|
+
|
|
45
|
+
- Sleepや適切なコードを書いても訴訟になったケースあり
|
|
46
|
+
|
|
47
|
+
- 壊れやすい
|
|
48
|
+
|
|
49
|
+
- 相手先でHTMLの構造を変えられると容易に壊れる
|
|
50
|
+
|
|
51
|
+
- JavaScript やブラウザまでエミュレートすると動作が遅い
|
1
修正
test
CHANGED
|
@@ -9,6 +9,8 @@
|
|
|
9
9
|
# Web上の画像を取得
|
|
10
10
|
|
|
11
11
|
imgs = soup.find_all("img") # ここでは20件しか表示されていない
|
|
12
|
+
|
|
13
|
+
# imgsを保存
|
|
12
14
|
|
|
13
15
|
```
|
|
14
16
|
|