質問編集履歴
5
firefoxのheadless modeをコマンドラインから実行した際に正しくscreenshotが取れたことを追記
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -153,3 +153,27 @@
|
|
|
153
153
|
|
|
154
154
|
|
|
155
155
|
https://morizyun.github.io/web/selenium-cheat-sheet.html
|
|
156
|
+
|
|
157
|
+
|
|
158
|
+
|
|
159
|
+
|
|
160
|
+
|
|
161
|
+
|
|
162
|
+
|
|
163
|
+
# 追記
|
|
164
|
+
|
|
165
|
+
## chrome以外にもfirefoxのheadless modeがあると聞いたので、chromeとfirefoxでコマンドラインから下記のコマンドを実行してみました。
|
|
166
|
+
|
|
167
|
+
|
|
168
|
+
|
|
169
|
+
- google-chrome --user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.50 Safari/537.36" --no-sandbox --headless --disable-gpu --screenshot="screeshot.png" --width-size=1920,1080 https://www.athome.co.jp/tochi/tokyo/chiyoda-city/list/
|
|
170
|
+
|
|
171
|
+
|
|
172
|
+
|
|
173
|
+
- firefox -headless -screenshot https://www.athome.co.jp/tochi/tokyo/chiyoda-city/list/
|
|
174
|
+
|
|
175
|
+
|
|
176
|
+
|
|
177
|
+
その結果、google-chromeは真っ白な画面の一方、firefoxはちゃんとしたscreen shotがとれました。
|
|
178
|
+
|
|
179
|
+
そのそもコマンドラインでうまく動かなそうなのは問題だと思うのでfirefoxでの実装に切り替えたいと思います。
|
4
取得したいデータの具体例を追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -45,6 +45,8 @@
|
|
|
45
45
|
結果として、期待していたJavaScript実行後の出力ではなく、JavaScriptが実行前の下記のような出力しか得られませんでした。
|
|
46
46
|
|
|
47
47
|
|
|
48
|
+
|
|
49
|
+
取得できた出力（JavaScript実行前)
|
|
48
50
|
|
|
49
51
|
```ここに言語を入力
|
|
50
52
|
|
|
@@ -100,6 +102,44 @@
|
|
|
100
102
|
|
|
101
103
|
|
|
102
104
|
|
|
105
|
+
取得したい実行結果(JavaScript実行後)
|
|
106
|
+
|
|
107
|
+
```ここに言語を入力
|
|
108
|
+
|
|
109
|
+
|
|
110
|
+
|
|
111
|
+
<!doctype html>
|
|
112
|
+
|
|
113
|
+
<html lang="ja">
|
|
114
|
+
|
|
115
|
+
<head>
|
|
116
|
+
|
|
117
|
+
<meta charset="utf-8">
|
|
118
|
+
|
|
119
|
+
<title>千代田区の土地 物件検索結果【アットホーム】｜土地購入の情報[売地・宅地・分譲地]</title>
|
|
120
|
+
|
|
121
|
+
<meta name="keywords" content="千代田区 土地,東京都 土地,物件検索結果,土地,売地,宅地,分譲地,購入,情報,検索,探し,athome,アットホーム">
|
|
122
|
+
|
|
123
|
+
<meta name="description" content="【アットホーム】東京都 千代田区の土地の物件検索結果ページ。土地・不動産の情報サイト アットホームなら、ご希望にぴったりの売地が簡単に検索できます。その他、東京都 千代田区の土地探しに役立つ相場情報など宅地の情報が盛りだくさん。売地のことならアットホームにお任せください。分譲地の情報を毎日更新中。">
|
|
124
|
+
|
|
125
|
+
<meta name="robots" content="index,follow,noarchive">
|
|
126
|
+
|
|
127
|
+
<link rel="canonical" href="https://www.athome.co.jp/tochi/tokyo/chiyoda-city/list/">
|
|
128
|
+
|
|
129
|
+
<link rel="shortcut icon" type="image/x-icon" href="/favicon.ico">
|
|
130
|
+
|
|
131
|
+
|
|
132
|
+
|
|
133
|
+
<!-- 長いため途中抜粋 -->
|
|
134
|
+
|
|
135
|
+
|
|
136
|
+
|
|
137
|
+
</html>
|
|
138
|
+
|
|
139
|
+
```
|
|
140
|
+
|
|
141
|
+
|
|
142
|
+
|
|
103
143
|
おそらく上記サイトは、JavaScriptが使用されているサイトでJavaScriptが実行される前のソースが取得されている状況だと思うのですが、
|
|
104
144
|
|
|
105
145
|
JavaScriptが実行された後のデータを取得するにはどのようにしたらよいのでしょうか？
|
3
スクレイピングを追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
File without changes
|
2
Typo修正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -106,7 +106,7 @@
|
|
|
106
106
|
|
|
107
107
|
|
|
108
108
|
|
|
109
|
-
下記サイト
|
|
109
|
+
下記サイト等にはdriver.execute_scriptを使うような記載があるのですが、そのような処理を行えばよいのでしょうか？
|
|
110
110
|
|
|
111
111
|
JavaScriptに詳しくないため、execute_scriptに渡すべき引数がピンとこず試行錯誤しているのですが情報をいただけますでしょうか？
|
|
112
112
|
|
1
補足を追記
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -42,7 +42,7 @@
|
|
|
42
42
|
|
|
43
43
|
|
|
44
44
|
|
|
45
|
-
結果として、JavaScriptが実行
|
|
45
|
+
結果として、期待していたJavaScript実行後の出力ではなく、JavaScriptが実行前の下記のような出力しか得られませんでした。
|
|
46
46
|
|
|
47
47
|
|
|
48
48
|
|