書き換えたHTMLを受信する方法

Question

TornadoでWebsocketサーバを動かしてみたが書き換えたHTMLを受信する方法が分からない。
～手順～
1.　TorrnadoでHTTPサーバの起動
2.　HTMLファイルのJSがWebsocketサーバと通信
3．ブラウザでHTMLファイルを表示
4．WebsocketクライアントがWebsocketサーバにメッセージを送信するとHTMLが書き換わる
5．書き換えたHTMLを受信する

上記手順の5番目で躓いています。
wgetを使いページファイルをダウンロードすると書き換えられる前のデフォルトのHTMLファイルしか受信できません。
書き換えたHTMLを受信する方法を教えてください。
以下にコードを載せておきます。

サーバ

import tornado.ioloop
import tornado.web
import tornado.websocket
 
cl = []
 
class WebSocketHandler(tornado.websocket.WebSocketHandler):
    def open(self):
        if self not in cl:
            cl.append(self)
 
    def on_message(self, message):
        for client in cl:
            client.write_message(message)
 
    def on_close(self):
        if self in cl:
            cl.remove(self)
 
class MainHandler(tornado.web.RequestHandler):
    def get(self):
        self.render('test_ws.html')
 
application = tornado.web.Application([
    (r"/", MainHandler),
    (r"/websocket", WebSocketHandler),
])
 
if __name__ == "__main__":
    application.listen(8080)
    tornado.ioloop.IOLoop.current().start()

HTML/JSファイル

<h1>WebSockets Test</h1>
 
<script>
  var ws;
  ws = new WebSocket("ws://54.65.113.57:8080/websocket");
  ws.onmessage = function(ev) {
    document.getElementById('variable').innerHTML = ev.data;
  }
</script>
 
 
variable : <span id="variable">default</span>

クライアント(送信側)

import sys
from websocket import create_connection
ws = create_connection("ws://localhost:8080/websocket")
 
if len(sys.argv) > 1:
    message = sys.argv[1]
else:
    message = 'hello world!'
 
print ws.send(message)
print ws.recv()
 
ws.close()

追記
書き換えたHTML/JSファイルを保存する方法があれば知りたいです。
上書き保存したHTMLならうまく受信できるのではないかと思いまして、、、

Answer 1

JavaScript はクライアント側で実行されるので、それを受信することはできません。Selenium などを使い、JavaScript を実行してください。

Comments

[shuuuuuichi]

回答ありがとうございます。
基本的なJSの理解が欠けているということが分かりました。
差し支えないseleniumを使った具体的な改善策を教えていただけないでしょうか？

[Zuishin]

ヘッドレスモードだとブラウザが見えないので、非ヘッドレスモードがいいでしょう。
driver.find_element_by_tag_name("html").get_attribute("outerHTML") でページ全体の HTML が取得できるので、それを保存して driver.quit() で終了してください。

https://qiita.com/memakura/items/20a02161fa7e18d8a693

[Zuishin]

なお、これで取得できるのは html タグ以下のコンテンツだけで、DOCTYPE は取得できません。DOCTYPE を取得するにはもう一工夫必要です。

https://stackoverrun.com/ja/q/2833994