WEBページを巡回取得して、スクレイピングする処理を作っています。
いくつかのページは動的なページでヘッドレスブラウザであるChromeをpython上で動作させて取得しています。
とあるページで設定の変更が入ったらしくページ取得したところ「JavaScriptの設定を有効にしてください」といったメッセージがHTML返送されてきました。
ヘッドレスChromeでJavaScriptを有効にしてページ取得する方法を教えてください。
なお取得時のユーザエージェントは以下のように設定しています
USERAGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) '\
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/55.0.2883.95 Safari/537.36 '
argumentは以下2行を追加しています
'--headless' '--disable-gpu'
以上です、アドバイスよろしくお願いします。
回答2件
あなたの回答
tips
プレビュー