質問編集履歴
1
修正
test
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
プロキシ(proxy)経由のスクレイピングでhtml構造を取得できない
|
|
1
|
+
プロキシ(proxy)経由のスクレイピング(Selenium&Chrome)でhtml構造を取得できない
|
test
CHANGED
|
@@ -10,11 +10,11 @@
|
|
|
10
10
|
|
|
11
11
|
### 発生している問題・エラーメッセージ
|
|
12
12
|
|
|
13
|
-
通常のネットワークではうまく動作しています。
|
|
14
|
-
|
|
15
|
-
しかし、プロキシを経由するとhtml構造が読み取れなくなります。
|
|
13
|
+
通常のネットワークではうまく動作しています。しかし、プロキシを経由して実行すると、ウェブサイトは表示されるもののhtml構造が読み取れなくなります。
|
|
14
|
+
|
|
16
|
-
|
|
15
|
+
ウエブサイトは手動で操作ができるうえ、開発者ツールで見ても通常のネットワークの要素と相違はありません。
|
|
16
|
+
|
|
17
|
-
原因として
|
|
17
|
+
原因として「BeautifulSoup(html,"html.parser")」でオプションの記述等が不足しているのではないかと疑っています。
|
|
18
18
|
|
|
19
19
|
|
|
20
20
|
|
|
@@ -26,11 +26,11 @@
|
|
|
26
26
|
|
|
27
27
|
### 使用している言語・ブラウザ等
|
|
28
28
|
|
|
29
|
-
python3.6
|
|
29
|
+
python3.6,
|
|
30
|
-
|
|
30
|
+
|
|
31
|
-
Chrome
|
|
31
|
+
Chrome,
|
|
32
|
-
|
|
32
|
+
|
|
33
|
-
Selenium
|
|
33
|
+
Selenium,
|
|
34
34
|
|
|
35
35
|
luminati(レンタルプロキシ)
|
|
36
36
|
|
|
@@ -60,7 +60,7 @@
|
|
|
60
60
|
|
|
61
61
|
import pyautogui
|
|
62
62
|
|
|
63
|
-
#プロキシ認証
|
|
63
|
+
#プロキシ認証
|
|
64
64
|
|
|
65
65
|
from selenium.webdriver.common.proxy import Proxy, ProxyType
|
|
66
66
|
|