質問編集履歴
7
修正
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
|
|
1
|
+
スクレイピングの仕組みについて
|
test
CHANGED
|
File without changes
|
6
修正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -71,6 +71,7 @@
|
|
|
71
71
|
time.sleep(1)
|
|
72
72
|
```
|
|
73
73
|
結果
|
|
74
|
+
```
|
|
74
75
|
download2
|
|
75
76
|
download2
|
|
76
77
|
download2
|
|
@@ -152,6 +153,7 @@
|
|
|
152
153
|
download2\news
|
|
153
154
|
download2
|
|
154
155
|
|
|
156
|
+
```
|
|
155
157
|
2.他のサイトで試す
|
|
156
158
|
https://www.elle.com/jp/decor/decor-architecture/g27036488/kumakengo-19-0405/?slide=1
|
|
157
159
|
```python
|
5
修正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -45,7 +45,7 @@
|
|
|
45
45
|
Permission denied: 'download2'
|
|
46
46
|
download2のフォルダに画像を書き出す部分でエラーが出ています。
|
|
47
47
|
### 試したこと
|
|
48
|
-
out_path が機能しているかの確認
|
|
48
|
+
1.out_path が機能しているかの確認
|
|
49
49
|
```python
|
|
50
50
|
import requests
|
|
51
51
|
from bs4 import BeautifulSoup
|
|
@@ -151,6 +151,45 @@
|
|
|
151
151
|
download2\commercial-transactions
|
|
152
152
|
download2\news
|
|
153
153
|
download2
|
|
154
|
+
|
|
155
|
+
2.他のサイトで試す
|
|
156
|
+
https://www.elle.com/jp/decor/decor-architecture/g27036488/kumakengo-19-0405/?slide=1
|
|
157
|
+
```python
|
|
158
|
+
import requests
|
|
159
|
+
from bs4 import BeautifulSoup
|
|
160
|
+
from pathlib import Path
|
|
161
|
+
import urllib
|
|
162
|
+
import time
|
|
163
|
+
|
|
164
|
+
load_url = "https://www.elle.com/jp/decor/decor-architecture/g27036488/kumakengo-19-0405/"
|
|
165
|
+
html = requests.get(load_url)
|
|
166
|
+
soup = BeautifulSoup(html.content, "html.parser")
|
|
167
|
+
|
|
168
|
+
out_folder = Path("download2")
|
|
169
|
+
out_folder.mkdir(exist_ok = True)
|
|
170
|
+
|
|
171
|
+
|
|
172
|
+
for element in soup.find_all("img"):
|
|
173
|
+
src = element.get("src")
|
|
174
|
+
image_url = urllib.parse.urljoin(load_url,src)
|
|
175
|
+
imgdata = requests.get(image_url)
|
|
176
|
+
filename = image_url.split("/")[-1]
|
|
177
|
+
out_path = out_folder.joinpath(filename)
|
|
178
|
+
print(out_path)
|
|
179
|
+
|
|
180
|
+
with open(out_path, mode ="wb")as f:
|
|
181
|
+
f.write(imgdata.content)
|
|
182
|
+
|
|
183
|
+
time.sleep(1)
|
|
184
|
+
|
|
185
|
+
```
|
|
186
|
+
エラー場所
|
|
187
|
+
imgdata = requests.get(image_url)
|
|
188
|
+
内容
|
|
189
|
+
Message=No connection adapters were found for 'data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7'
|
|
190
|
+
Source=C:\Users\Michiko\Desktop\app2\scraping\scraping\scraping.py
|
|
191
|
+
|
|
192
|
+
|
|
154
193
|
### 補足情報（FW/ツールのバージョンなど）
|
|
155
194
|
|
|
156
195
|
ここにより詳細な情報を記載してください。
|
4
誤字
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,5 +1,5 @@
|
|
|
1
1
|
### 前提
|
|
2
|
-
visual studio 20
|
|
2
|
+
visual studio 2022
|
|
3
3
|
python 3.9
|
|
4
4
|
### 実現したいこと
|
|
5
5
|
初心者の質問で恐縮ですが、よろしくお願いいたします。
|
3
訂正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,8 +1,8 @@
|
|
|
1
1
|
### 前提
|
|
2
|
-
|
|
2
|
+
visual studio 2019
|
|
3
|
+
python 3.9
|
|
4
|
+
### 実現したいこと
|
|
3
5
|
初心者の質問で恐縮ですが、よろしくお願いいたします。
|
|
4
|
-
|
|
5
|
-
### 実現したいこと
|
|
6
6
|
Yahoo！ニュースの画像を取得する
|
|
7
7
|
https://news.yahoo.co.jp/
|
|
8
8
|
|
2
修正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -68,6 +68,7 @@
|
|
|
68
68
|
filename = image_url.split("/")[-1]
|
|
69
69
|
out_path = out_folder.joinpath(filename)
|
|
70
70
|
print(out_path)
|
|
71
|
+
time.sleep(1)
|
|
71
72
|
```
|
|
72
73
|
結果
|
|
73
74
|
download2
|
1
誤字
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
scrapingでYahoo
|
|
1
|
+
scrapingでYahoo！ニュースの画像を取得する
|
test
CHANGED
|
@@ -3,7 +3,7 @@
|
|
|
3
3
|
初心者の質問で恐縮ですが、よろしくお願いいたします。
|
|
4
4
|
|
|
5
5
|
### 実現したいこと
|
|
6
|
-
Yahoo
|
|
6
|
+
Yahoo！ニュースの画像を取得する
|
|
7
7
|
https://news.yahoo.co.jp/
|
|
8
8
|
|
|
9
9
|
### 該当のソースコード
|