質問編集履歴
6
補足追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -135,3 +135,19 @@
|
|
|
135
135
|
Cookieを付与すれば解決すると思いますが、今回はwebdriverの仕様理解の勉強も含めているため、
|
|
136
136
|
|
|
137
137
|
webdriver上で画像ダウンロードできる方法を模索しています。
|
|
138
|
+
|
|
139
|
+
|
|
140
|
+
|
|
141
|
+
---
|
|
142
|
+
|
|
143
|
+
3.質問補足
|
|
144
|
+
|
|
145
|
+
> 後から質問補足見ました。やっぱりログインでガードされているんですね。駄目か。
|
|
146
|
+
|
|
147
|
+
> そうすると、そもそもダウンロードしていいものかどうかも気になりますが、大丈夫ですか？
|
|
148
|
+
|
|
149
|
+
|
|
150
|
+
|
|
151
|
+
今回のスクレイピングは、
|
|
152
|
+
|
|
153
|
+
私用目的でターゲットサイトの利用規約にも遵守しています。
|
5
書式改善
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -114,7 +114,7 @@
|
|
|
114
114
|
|
|
115
115
|
|
|
116
116
|
|
|
117
|
-
```
|
|
117
|
+
```Python
|
|
118
118
|
|
|
119
119
|
loginUrl = 'https://hoshi3.jp/img/btn_01.png'
|
|
120
120
|
|
4
誤字修正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -132,6 +132,6 @@
|
|
|
132
132
|
|
|
133
133
|
|
|
134
134
|
|
|
135
|
-
Cookieを付与すれば解決すると思いますが、webdriverの仕様理解の勉強も含めているため、
|
|
135
|
+
Cookieを付与すれば解決すると思いますが、今回はwebdriverの仕様理解の勉強も含めているため、
|
|
136
136
|
|
|
137
137
|
webdriver上で画像ダウンロードできる方法を模索しています。
|
3
誤字修正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -132,6 +132,6 @@
|
|
|
132
132
|
|
|
133
133
|
|
|
134
134
|
|
|
135
|
-
Cookieを付与すれば解決すると思いますが、
|
|
135
|
+
Cookieを付与すれば解決すると思いますが、webdriverの仕様理解の勉強も含めているため、
|
|
136
136
|
|
|
137
|
-
画像ダウンロードできる方法を模索しています。
|
|
137
|
+
webdriver上で画像ダウンロードできる方法を模索しています。
|
2
誤字修正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -126,7 +126,7 @@
|
|
|
126
126
|
|
|
127
127
|
実際に取得したい画像が、ログインが必要なサイトの画像のため実行すると、
|
|
128
128
|
|
|
129
|
-
`urllib.r
|
|
129
|
+
`urllib.error.HTTPError: HTTP Error 500: Internal Server Error`
|
|
130
130
|
|
|
131
131
|
が出力されます。
|
|
132
132
|
|
1
質問への回答
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -85,3 +85,53 @@
|
|
|
85
85
|
browser.quit()
|
|
86
86
|
|
|
87
87
|
```
|
|
88
|
+
|
|
89
|
+
|
|
90
|
+
|
|
91
|
+
|
|
92
|
+
|
|
93
|
+
### 追記
|
|
94
|
+
|
|
95
|
+
1.質問補足
|
|
96
|
+
|
|
97
|
+
> 画像のURLを得て、Selenium の外でダウンロードというのは、ガードされているのでしょうか？
|
|
98
|
+
|
|
99
|
+
|
|
100
|
+
|
|
101
|
+
取得したい画像が無数にあるのでSelenium内でfor文で処理しようと思っています。
|
|
102
|
+
|
|
103
|
+
|
|
104
|
+
|
|
105
|
+
---
|
|
106
|
+
|
|
107
|
+
|
|
108
|
+
|
|
109
|
+
2.回答補足
|
|
110
|
+
|
|
111
|
+
> ActionChainsを使わなくても、
|
|
112
|
+
|
|
113
|
+
> urlretrieveを使えばDLできます。
|
|
114
|
+
|
|
115
|
+
|
|
116
|
+
|
|
117
|
+
```
|
|
118
|
+
|
|
119
|
+
loginUrl = 'https://hoshi3.jp/img/btn_01.png'
|
|
120
|
+
|
|
121
|
+
urllib.request.urlretrieve(loginUrl, 'logo.png')
|
|
122
|
+
|
|
123
|
+
```
|
|
124
|
+
|
|
125
|
+
上記コードで画像の取得はできましたが、
|
|
126
|
+
|
|
127
|
+
実際に取得したい画像が、ログインが必要なサイトの画像のため実行すると、
|
|
128
|
+
|
|
129
|
+
`urllib.request.urlretrieve(loginUrl, 'logo.png')`
|
|
130
|
+
|
|
131
|
+
が出力されます。
|
|
132
|
+
|
|
133
|
+
|
|
134
|
+
|
|
135
|
+
Cookieを付与すれば解決すると思いますが、処理が長くなってしまうためwebdriver上で
|
|
136
|
+
|
|
137
|
+
画像ダウンロードできる方法を模索しています。
|