pythonでログを別のターミナルで表示させたい。

Question

やりたいこと

スクレイピング機能のwinsowsアプリケーションの作成

困っていること

ログを出力して、現状を確認したが、いらない出力が多くて肝心のものが把握できなくなる

こうしたい

出力したいものだけを表示する場所が欲しい

環境

Pyhton 3.8.2
Linux
ExpressVPN

内容

1　vpnを使いipを切り替えてからスクレイピング
2　１回の処理の終わってから結果を出力
3. 1〜2を無限ループ

いらない出力とは

vpnの接続、切断するタイピングでのログ

Connecting to Smart Location...
Connecting to Japan - Tokyo...	100.0%
Connected to Japan - Tokyo

   - To check your connection status, type 'expressvpn status'.
   - If your VPN connection unexpectedly drops, internet traffic will be blocked to protect your privacy.
   - To disable Network Lock, disconnect ExpressVPN then type 'expressvpn preferences set network_lock off'.

スクレイピングでの混合コンテンツ警告？文

Connecting to Smart Location...
Connecting to Japan - Tokyo...	100.0%
Connected to Japan - Tokyo

   - To check your connection status, type 'expressvpn status'.
   - If your VPN connection unexpectedly drops, internet traffic will be blocked to protect your privacy.
   - To disable Network Lock, disconnect ExpressVPN then type 'expressvpn preferences set network_lock off'.

[0902/032212.223:INFO:CONSOLE(80)] "react-intl-universal key "error_param" not defined in ja", source: https://***** (80)
[0902/032212.538:INFO:CONSOLE(80)] "react-intl-universal key "common_Loading" not defined in ja", source: https://***** (80)
[0902/032212.876:INFO:CONSOLE(1)] "sdkperf: it took 62 ms and 65210 bytes to load https://*****", source: https://*****
(1)
[0902/032212.879:INFO:CONSOLE(1)] "sdkperf: asyncstart logged after 1031 ms", source: https://***** (1)
[0902/032212.888:INFO:CONSOLE(1)] "sdkperf: init logged after 1042 ms", source: https://***** (1)
[0902/032212.906:INFO:CONSOLE(1)] "domReady", source: https://*****(1)
[0902/032212.908:INFO:CONSOLE(1)] "The "fb-root" div has not been created, auto-creating", source: https://***** (1)
[0902/032213.019:INFO:CONSOLE(0)] "Mixed Content: The page at 'https://www.*****5' was loaded over HTTPS, but requested an insecure video 'http://*****y46Yw%3D%3D&vl=&vr='. This content should also be served over HTTPS.", source: https://***** (0)
[0902/032213.293:ERROR:audio_manager_base.cc(389)] Invalid audio output parameters received; using fake audio path: format: PCM_LINEAR, channel_layout: 0, channels: 0, sample_rate: 0, frames_per_buffer: 0, effects: 0, mic_positions:

考えたこと、試したこと

１. tkinterのTreeviewを使って表示する。
これはループの途中で追加していくことができないため、無限ループとは相性が悪いと判断して諦めました。
(追加できるなら教えてください)

1. loggingで制御

ファイルに出力などできましたが、一々開かないで良いようにターミナルでログを見たいです。

1. expressvpnに接続した時に出るログを出ないようにする

使用上無理と言われました。

1. 警告文をなくす

options = Options()
#ドライバーパス
driver_path = './chromedriver'

options.add_argument('--headless')
options.add_argument('--enable-logging')
options.add_argument('--allow-insecure-localhost')
options.add_argument('--disable-gpu')
options.add_argument('--ignore-certificate-errors')
options.add_argument('--log-level=0')
driver= webdriver.Chrome(driver_path, chrome_options=options)

これらを入れて消えませんでした。

これらを試して、新しいターミナルを表示して、そちらに出力できないかな？と思いこちらに質問させて頂きました。

私の実力では中々記事が見つからなくて、実現可能なのかも判断できていません。

ログをファイルに出力なら確実に可能だとは思いますが、できるだけリアルタイムでログが動いているところを見たいです。

別のウィーンドーを作成するなどでも良いのですか、良いアイデアはないでしょうか？

Answer 1

これらを試して、新しいターミナルを表示して、そちらに出力できないかな？

こういうことですか？

• コマンド:tty - ttyの小ネタ

新しいターミナルでコマンドttyを実行し、デバイスファイル名を調べます。

$ tty
/dev/pts/0

調べたデバイスファイルに書き込めば、書き込んだ内容が新しいターミナルに出力されます。

$ echo 'Hello, world!' > /dev/pts/0

ログファイルへの書き込みができているのであれば、ログファイルの代わりにデバイスファイルに書き込めば、ログは新しいターミナルへ出力されます。

ただ、新しいターミナルを閉じてしまうと、書き込みエラーが発生すると思うので、実用的かどうかは、うーん。
まぁ、その辺の判断はおまかせします。

Answer 2

時々刻々出力されるログファイルを tail コマンドで監視するのは如何でしょうか？
-f オプションがあれば、追記を追いかけてくれます。

tail -f logfile.txt

みたいな感じです。

https://qiita.com/Cesaroshun/items/6fdbccd2ea00e9c7944d

Answer 3

loggingで制御

ターミナルで出力を分けたりすることはできないので、logging で制御してファイルごとに分けるのがいいと思います。

ファイルに出力などできましたが、一々開かないで良いようにターミナルでログを見たいです。

SSH 接続できるのであれば、VS Code に公式拡張「Remote - SSH」を入れてサーバーに接続し、ファイルを開けば、ファイルが更新されればリアルタイムに開いている内容が更新されるので、実質ターミナルに出力するのと同じ使い勝手で閲覧できます。

Comments

[Yuiti628]

なるほど。
やはり、無理なんですね。

因みに、sshができない場合ではいい方法がありませんか？

[tiitoi]

サーバー上のターミナルにどのようにアクセスしているのでしょうか？

[tiitoi]

ちなみに質問に書いてある

> tkinterのTreeviewを使って表示する。
> これはループの途中で追加していくことができないため、無限ループとは相性が悪いと判断して諦めました。

ですが、tkinter が動いてるのとは別スレッドで while ループを実行すればフリーズしないと思います。
スレッド間でメッセージをやり取りしたりする必要があるなどマルチスレッドの知識がないと少々ややこしいですが、技術的には可能です。

----
ログが大量に出てきてアプリケーションのログがわからなくなるというのであれば問題ですが、質問欄に貼ってある行数程度であれば無視してもいいのではと思いました。

[Yuiti628]

いえ、サーバー機で実装するときはsshで大丈夫なのですが、ローカルで開発する時の話でした。
便利なツールなどないかなと。

tkinterは可能なんですね。
けれど、ちょっと諦めます。

ログですが、一回のループで、50ほどのurlにアクセスして、その一回ずつであの行数出てしまします。
そのため、ループが終わった後に、１行だけの出力は見つからないので困ってしまいました。
説明不足で申し訳ありません。

[tiitoi]

ローカルならログファイルをそのまま VS Code で開くだけでいいのではないでしょうか。ファイルが更新されると自動で開いてる内容も更新されます

[tiitoi]

ファイルが更新されれば開いてる内容が自動で更新されればいいので、CUI であれば tail -f <ファイルパス> でログファイルを開くという手もありますね

https://qiita.com/sakito/items/7f65e16f10b3d754f307#f%E3%81%A8f%E3%81%AE%E9%81%95%E3%81%84