PhantomJSがスクレイピングの際にJavascriptを有効にしてくれない

PythonでJavascriptの動作しているページからスクレイピングするコードを書いています。

Selenium,PhantomJSの組み合わせでページを取得しようとしているのですが、Javascriptが有効になっていない状態のページを取得してしまいます。

Python
1from selenium import webdriver
2browser = webdriver.PhantomJS(executable_path="/usr/bin/phantomjs")
3
4browser.get("該当サイト")
5browser.implicitly_wait(10)
6time.sleep(10)
7html = browser.page_source.encode('utf-8')
8print(html)

他のドライバーやブラウザを使うといった解決策も含め、どなたかお分かりの方がいらっしゃればご教授いただけますと助かります。
よろしくお願い致します。

退会済みユーザー

2018/02/11 15:06

実行したソースを載せないと原因の特定ができないのでは？

pockygame

2018/02/12 12:27

返事が遅くなりすみません。ソースを追加させていただきました。

行動規範の内容に同意します

回答1件

ベストアンサー

掲載されたソースを実行しましたが、私の環境でも再現しました。

以下のように、chromedriver(Headlessモード)を使うと取得できたので、おそらくPhantomJSの問題だと考えられます。
(python3.6.1, selenium==3.5.0で実行)

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time

options = Options()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
driver = webdriver.Chrome(executable_path='chromedriverのpath',chrome_options=options)
driver.get("対象サイトのURL")
time.sleep(10)
html = driver.page_source.encode('utf-8')
print(html)

PhantomJSは基本的にはES6に対応していないのですが[^1]、
スクレイピング対象となっているサイトはおそらくターゲットとしてES6以上対応のブラウザを想定しているために、
うまくページが取得できないのだと思います。

ちなみにPhantomJSはSeleniumのPythonバインディングではver3.8.1以降で非推奨となっているので[^2]、
以降テストやスクレイピング用途で使う際にはchromedriverやgeckodriver(Firefox)を使うことをおすすめします。

[^1]: When PhantomJS will be support ES6?
[^2]: selenium/CHANGES at master

投稿2018/02/12 20:06

編集2018/02/12 23:38

退会済みユーザー

総合スコア0