質問編集履歴
3
コードの記載をMarkdown記法に変更しました
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,18 +1,26 @@
|
|
|
1
1
|
Ｘサーバー＋CRON＋pythonの実行環境でスクレイピングを考えています。
|
|
2
2
|
|
|
3
|
-
スクレイピング自体は成功していますが、秘匿のためプロキシを経由させたいのですが、
|
|
3
|
+
スクレイピング自体は成功していますが、秘匿のためプロキシを経由させたいのですが、
|
|
4
|
+
|
|
5
|
+
pythonのコードにプロキシを追加しただけでは動きませんでした。
|
|
4
6
|
|
|
5
7
|
|
|
6
8
|
|
|
7
9
|
ローカルPC上からプロキシ経由させた場合は成功しています。
|
|
8
10
|
|
|
9
|
-
Ｘサーバー上で実行した場合にプロキ
|
|
11
|
+
Ｘサーバー上で実行した場合にプロキシ経由だとエラーになります。
|
|
10
12
|
|
|
11
13
|
|
|
12
14
|
|
|
13
15
|
どなたか原因がわかりましたらご教授ください。
|
|
14
16
|
|
|
15
|
-
コードですが、わかりやすいようにジコログさんが作成されたサンプルで記載します。
|
|
17
|
+
コードですが、問題点がわかりやすいようにジコログさんが作成されたサンプルで記載します。
|
|
18
|
+
|
|
19
|
+
|
|
20
|
+
|
|
21
|
+
```python
|
|
22
|
+
|
|
23
|
+
|
|
16
24
|
|
|
17
25
|
import requests
|
|
18
26
|
|
|
@@ -28,7 +36,9 @@
|
|
|
28
36
|
|
|
29
37
|
proxies = {
|
|
30
38
|
|
|
31
|
-
'http':'https://140.227.65.129:58888',
|
|
39
|
+
'http':'https://140.227.65.129:58888',
|
|
40
|
+
|
|
41
|
+
'https':'https://140.227.65.129:58888'
|
|
32
42
|
|
|
33
43
|
}
|
|
34
44
|
|
|
@@ -51,3 +61,7 @@
|
|
|
51
61
|
|
|
52
62
|
|
|
53
63
|
print(ip)
|
|
64
|
+
|
|
65
|
+
|
|
66
|
+
|
|
67
|
+
```
|
2
test
CHANGED
|
File without changes
|
test
CHANGED
|
File without changes
|
1
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -11,3 +11,43 @@
|
|
|
11
11
|
|
|
12
12
|
|
|
13
13
|
どなたか原因がわかりましたらご教授ください。
|
|
14
|
+
|
|
15
|
+
コードですが、わかりやすいようにジコログさんが作成されたサンプルで記載します。
|
|
16
|
+
|
|
17
|
+
import requests
|
|
18
|
+
|
|
19
|
+
from bs4 import BeautifulSoup
|
|
20
|
+
|
|
21
|
+
|
|
22
|
+
|
|
23
|
+
URL = "https://www.cman.jp/network/support/go_access.cgi"
|
|
24
|
+
|
|
25
|
+
USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
|
|
26
|
+
|
|
27
|
+
|
|
28
|
+
|
|
29
|
+
proxies = {
|
|
30
|
+
|
|
31
|
+
'http':'https://140.227.65.129:58888','https':'https://140.227.65.129:58888'
|
|
32
|
+
|
|
33
|
+
}
|
|
34
|
+
|
|
35
|
+
|
|
36
|
+
|
|
37
|
+
headers = {"User-Agent": USER_AGENT}
|
|
38
|
+
|
|
39
|
+
|
|
40
|
+
|
|
41
|
+
resp = requests.get(URL, proxies=proxies, headers=headers, timeout=10)
|
|
42
|
+
|
|
43
|
+
resp.encoding = 'utf8'
|
|
44
|
+
|
|
45
|
+
soup = BeautifulSoup(resp.text, "html.parser")
|
|
46
|
+
|
|
47
|
+
|
|
48
|
+
|
|
49
|
+
ip = soup.find(class_="outIp").text
|
|
50
|
+
|
|
51
|
+
|
|
52
|
+
|
|
53
|
+
print(ip)
|