ターミナルの実行状況をWebサイトに表示したい

Question

実現したいこと

Pythonのprintの出力結果をウェブサイトに表示したいです!
スクレイピングに30秒ほどかかっており、今どのサイトをスクレイピングしているのかWebサイト上で把握したいからです。
よろしくお願いします。

###調査したこと
HTTPのレスポンスは1つのリクエストに1レスポンスが基本でWebSocketのプロトコルを使う必要がある？と思いましたが、どのようにすれば良いか分かりません。

Answer 1

そういうことをするためには動的サイトにする必要があります。ここで全てを説明するわけにはいかないので、ヒント程度で。

• ページ側にjavascriptを仕込む。
  サーバ側に問い合わせ(GETなど)を出して情報を取得。その情報でページの要素を書き換える。
• サーバ側にAPIを作る
  要求を受けたら情報(サイト名)を送るルートを作る。
• スクレイピングのプロセス/スレッドを別にする
  現状どうなっているかわかりませんが、サーバ側でそのままスクレイピングをしているとすると、スクレイピング中にサイトは動作できないので、別プロセス/スレッドに分離する必要があるでしょう。

javascriptを使って動的なサイトを作ることの入門書やサイトなど勉強するのがいいでしょう。

Comments

[S.H16]

詳しく教えてくださりありがとうございます！Flaskでサイトを移動し、スクレイピング結果のurl に変わるのを待つ間に動作できるか疑問だったので、助かりました！分離するというのはどうすれば良いでしょうか？良ければ教えて頂きたいです。

[mike2mike4]

vue.jsやReact.jsのSPAで調べたら良いですよ。

[TakaiY]

「python 並列処理」などで検索するといろいろ出てくると思います。
個人的には今ならjoblibを使うのがお勧めですが、情報が少なめかもしれません。
Flaskと併せて使う例も探せばでてくるでしょう。

[S.H16]

なるほど！調べてみます！本当に助かりました。
mike2さんも返信ありがとうございます！