質問編集履歴
5
firefoxのheadless modeをコマンドラインから実行した際に正しくscreenshotが取れたことを追記
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -75,4 +75,16 @@
|
|
|
75
75
|
下記サイト等にはdriver.execute_scriptを使うような記載があるのですが、そのような処理を行えばよいのでしょうか？
|
|
76
76
|
JavaScriptに詳しくないため、execute_scriptに渡すべき引数がピンとこず試行錯誤しているのですが情報をいただけますでしょうか？
|
|
77
77
|
|
|
78
|
-
https://morizyun.github.io/web/selenium-cheat-sheet.html
|
|
78
|
+
https://morizyun.github.io/web/selenium-cheat-sheet.html
|
|
79
|
+
|
|
80
|
+
|
|
81
|
+
|
|
82
|
+
# 追記
|
|
83
|
+
## chrome以外にもfirefoxのheadless modeがあると聞いたので、chromeとfirefoxでコマンドラインから下記のコマンドを実行してみました。
|
|
84
|
+
|
|
85
|
+
- google-chrome --user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.50 Safari/537.36" --no-sandbox --headless --disable-gpu --screenshot="screeshot.png" --width-size=1920,1080 https://www.athome.co.jp/tochi/tokyo/chiyoda-city/list/
|
|
86
|
+
|
|
87
|
+
- firefox -headless -screenshot https://www.athome.co.jp/tochi/tokyo/chiyoda-city/list/
|
|
88
|
+
|
|
89
|
+
その結果、google-chromeは真っ白な画面の一方、firefoxはちゃんとしたscreen shotがとれました。
|
|
90
|
+
そのそもコマンドラインでうまく動かなそうなのは問題だと思うのでfirefoxでの実装に切り替えたいと思います。
|
4
取得したいデータの具体例を追加
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -22,6 +22,7 @@
|
|
|
22
22
|
|
|
23
23
|
結果として、期待していたJavaScript実行後の出力ではなく、JavaScriptが実行前の下記のような出力しか得られませんでした。
|
|
24
24
|
|
|
25
|
+
取得できた出力（JavaScript実行前)
|
|
25
26
|
```ここに言語を入力
|
|
26
27
|
<!DOCTYPE html><html xmlns="http://www.w3.org/1999/xhtml"><head>
|
|
27
28
|
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />
|
|
@@ -49,6 +50,25 @@
|
|
|
49
50
|
|
|
50
51
|
```
|
|
51
52
|
|
|
53
|
+
取得したい実行結果(JavaScript実行後)
|
|
54
|
+
```ここに言語を入力
|
|
55
|
+
|
|
56
|
+
<!doctype html>
|
|
57
|
+
<html lang="ja">
|
|
58
|
+
<head>
|
|
59
|
+
<meta charset="utf-8">
|
|
60
|
+
<title>千代田区の土地 物件検索結果【アットホーム】｜土地購入の情報[売地・宅地・分譲地]</title>
|
|
61
|
+
<meta name="keywords" content="千代田区 土地,東京都 土地,物件検索結果,土地,売地,宅地,分譲地,購入,情報,検索,探し,athome,アットホーム">
|
|
62
|
+
<meta name="description" content="【アットホーム】東京都 千代田区の土地の物件検索結果ページ。土地・不動産の情報サイト アットホームなら、ご希望にぴったりの売地が簡単に検索できます。その他、東京都 千代田区の土地探しに役立つ相場情報など宅地の情報が盛りだくさん。売地のことならアットホームにお任せください。分譲地の情報を毎日更新中。">
|
|
63
|
+
<meta name="robots" content="index,follow,noarchive">
|
|
64
|
+
<link rel="canonical" href="https://www.athome.co.jp/tochi/tokyo/chiyoda-city/list/">
|
|
65
|
+
<link rel="shortcut icon" type="image/x-icon" href="/favicon.ico">
|
|
66
|
+
|
|
67
|
+
<!-- 長いため途中抜粋 -->
|
|
68
|
+
|
|
69
|
+
</html>
|
|
70
|
+
```
|
|
71
|
+
|
|
52
72
|
おそらく上記サイトは、JavaScriptが使用されているサイトでJavaScriptが実行される前のソースが取得されている状況だと思うのですが、
|
|
53
73
|
JavaScriptが実行された後のデータを取得するにはどのようにしたらよいのでしょうか？
|
|
54
74
|
|
3
スクレイピングを追加
title
CHANGED
|
File without changes
|
body
CHANGED
|
File without changes
|
2
Typo修正
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -52,7 +52,7 @@
|
|
|
52
52
|
おそらく上記サイトは、JavaScriptが使用されているサイトでJavaScriptが実行される前のソースが取得されている状況だと思うのですが、
|
|
53
53
|
JavaScriptが実行された後のデータを取得するにはどのようにしたらよいのでしょうか？
|
|
54
54
|
|
|
55
|
-
下記サイト
|
|
55
|
+
下記サイト等にはdriver.execute_scriptを使うような記載があるのですが、そのような処理を行えばよいのでしょうか？
|
|
56
56
|
JavaScriptに詳しくないため、execute_scriptに渡すべき引数がピンとこず試行錯誤しているのですが情報をいただけますでしょうか？
|
|
57
57
|
|
|
58
58
|
https://morizyun.github.io/web/selenium-cheat-sheet.html
|
1
補足を追記
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -20,7 +20,7 @@
|
|
|
20
20
|
|
|
21
21
|
```
|
|
22
22
|
|
|
23
|
-
結果として、JavaScriptが実行
|
|
23
|
+
結果として、期待していたJavaScript実行後の出力ではなく、JavaScriptが実行前の下記のような出力しか得られませんでした。
|
|
24
24
|
|
|
25
25
|
```ここに言語を入力
|
|
26
26
|
<!DOCTYPE html><html xmlns="http://www.w3.org/1999/xhtml"><head>
|