質問編集履歴
2
実行コードの編集
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -6,17 +6,12 @@
|
|
|
6
6
|
from selenium import webdriver
|
|
7
7
|
browser = webdriver.PhantomJS(executable_path="/usr/bin/phantomjs")
|
|
8
8
|
|
|
9
|
-
browser.get("
|
|
9
|
+
browser.get("該当サイト")
|
|
10
10
|
browser.implicitly_wait(10)
|
|
11
11
|
time.sleep(10)
|
|
12
12
|
html = browser.page_source.encode('utf-8')
|
|
13
13
|
print(html)
|
|
14
14
|
```
|
|
15
15
|
|
|
16
|
-
取得出来るページのソースコード(Javascript実行前のもの)
|
|
17
|
-
```html
|
|
18
|
-
<!DOCTYPE html><html lang="en"><head><meta charset="utf-8"><meta name="viewport" content="width=device-width,initial-scale=1,shrink-to-fit=no"><meta name="theme-color" content="#000000"><link rel="manifest" href="/manifest.json"><link rel="shortcut icon" href="/favicon.png"><title>AppX CryptoKitties</title><link href="/static/css/main.54020614.css" rel="stylesheet"></head><body><noscript>You need to enable JavaScript to run this app.</noscript><div id="root"></div><script type="text/javascript" async="" src="https://www.google-analytics.com/analytics.js"></script><script async="" src="https://www.googletagmanager.com/gtag/js?id=UA-73311457-11"></script><script>window.dataLayer=window.dataLayer||[];function gtag(){dataLayer.push(arguments)}gtag("js",new Date),gtag("config","UA-73311457-11")</script><script type="text/javascript" src="/static/js/main.8f7225a1.js"></script></body></html>
|
|
19
|
-
```
|
|
20
|
-
|
|
21
16
|
他のドライバーやブラウザを使うといった解決策も含め、どなたかお分かりの方がいらっしゃればご教授いただけますと助かります。
|
|
22
17
|
よろしくお願い致します。
|
1
ソースコードの追加
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -1,7 +1,22 @@
|
|
|
1
1
|
PythonでJavascriptの動作しているページからスクレイピングするコードを書いています。
|
|
2
2
|
|
|
3
3
|
Selenium,PhantomJSの組み合わせでページを取得しようとしているのですが、Javascriptが有効になっていない状態のページを取得してしまいます。
|
|
4
|
-
※通常のスクレイピングは正しく行え、また特定のサイトだけでなくJavascriptの入っているページでは同様に有効になっていない状態で取得してしまいます。
|
|
5
4
|
|
|
5
|
+
```Python
|
|
6
|
+
from selenium import webdriver
|
|
7
|
+
browser = webdriver.PhantomJS(executable_path="/usr/bin/phantomjs")
|
|
8
|
+
|
|
9
|
+
browser.get("https://kitty.appx.hk/100/101/0")
|
|
10
|
+
browser.implicitly_wait(10)
|
|
11
|
+
time.sleep(10)
|
|
12
|
+
html = browser.page_source.encode('utf-8')
|
|
13
|
+
print(html)
|
|
14
|
+
```
|
|
15
|
+
|
|
16
|
+
取得出来るページのソースコード(Javascript実行前のもの)
|
|
17
|
+
```html
|
|
18
|
+
<!DOCTYPE html><html lang="en"><head><meta charset="utf-8"><meta name="viewport" content="width=device-width,initial-scale=1,shrink-to-fit=no"><meta name="theme-color" content="#000000"><link rel="manifest" href="/manifest.json"><link rel="shortcut icon" href="/favicon.png"><title>AppX CryptoKitties</title><link href="/static/css/main.54020614.css" rel="stylesheet"></head><body><noscript>You need to enable JavaScript to run this app.</noscript><div id="root"></div><script type="text/javascript" async="" src="https://www.google-analytics.com/analytics.js"></script><script async="" src="https://www.googletagmanager.com/gtag/js?id=UA-73311457-11"></script><script>window.dataLayer=window.dataLayer||[];function gtag(){dataLayer.push(arguments)}gtag("js",new Date),gtag("config","UA-73311457-11")</script><script type="text/javascript" src="/static/js/main.8f7225a1.js"></script></body></html>
|
|
19
|
+
```
|
|
20
|
+
|
|
6
21
|
他のドライバーやブラウザを使うといった解決策も含め、どなたかお分かりの方がいらっしゃればご教授いただけますと助かります。
|
|
7
22
|
よろしくお願い致します。
|