質問編集履歴
2
画像追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,4 +1,4 @@
|
|
|
1
|
-
|
|
1
|
+
Pythonでスクレイピングする際にrequestsにプロキシ設定をすると以下のエラーが起きます。
|
|
2
2
|
前までは問題なかったのですが、どこが問題なのでしょうか？プロキシ設定を指定しければ問題なく動作します。
|
|
3
3
|
|
|
4
4
|
＜試したこと＞
|
|
@@ -17,6 +17,7 @@
|
|
|
17
17
|
＜追記＞
|
|
18
18
|
コード内の追記コードを使用して画像のようなjsonファイルを読み込んでプロキシ設定をしていました。前は問題がなかったのですが、同じようにしてもエラーが起きるようになってしまいました。
|
|
19
19
|
|
|
20
|
+
****
|
|
20
21
|
```Python
|
|
21
22
|
import requests
|
|
22
23
|
from bs4 import BeautifulSoup
|
1
＜追記＞ の追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,5 +1,6 @@
|
|
|
1
|
-
Pythonでスクレイピングする際にrequestsにプロキシ設定をすると以下のエラーが起きます。
|
|
1
|
+
****Pythonでスクレイピングする際にrequestsにプロキシ設定をすると以下のエラーが起きます。
|
|
2
2
|
前までは問題なかったのですが、どこが問題なのでしょうか？プロキシ設定を指定しければ問題なく動作します。
|
|
3
|
+
|
|
3
4
|
＜試したこと＞
|
|
4
5
|
リンク先を複数試した。
|
|
5
6
|
proxiesの内容を複数試した。
|
|
@@ -12,6 +13,9 @@
|
|
|
12
13
|
NewConnectionError Traceback (most recent call last)
|
|
13
14
|
ProxyError Traceback (most recent call last)
|
|
14
15
|
ProxyError: HTTPSConnectionPool: Max retries exceeded
|
|
16
|
+
|
|
17
|
+
＜追記＞
|
|
18
|
+
コード内の追記コードを使用して画像のようなjsonファイルを読み込んでプロキシ設定をしていました。前は問題がなかったのですが、同じようにしてもエラーが起きるようになってしまいました。
|
|
15
19
|
|
|
16
20
|
```Python
|
|
17
21
|
import requests
|
|
@@ -33,4 +37,14 @@
|
|
|
33
37
|
|
|
34
38
|
ip = soup.find(class_ = "outIp").text
|
|
35
39
|
print(ip)
|
|
40
|
+
#＜追記＞
|
|
41
|
+
json_open = open(FILE_PATH, 'r')
|
|
42
|
+
proxy_list = json.load(json_open)
|
|
43
|
+
proxy_info = random.choice(proxy_list)
|
|
44
|
+
ip = proxy_info['ip']
|
|
45
|
+
port = proxy_info['port']
|
|
46
|
+
protocol = proxy_info['protocol']
|
|
47
|
+
proxy = protocol + '://' + str(ip) + ':' + port
|
|
48
|
+
proxies = { 'http':proxy,
|
|
49
|
+
'https':proxy}
|
|
36
50
|
```
|