Pythonのconcurrent.futuresによるマルチプロセスでプログレスバーをプロセス分出力させる

Question

前提

concurrent.futuresのsubmitを用いてマルチプロセスを実行する。

実現したいこと

プログレスバーをプロセス分出力させたいです。例えば、以下のコードの場合、num_process分プログレスバーを出力させたいです。

例：
0: 90%████████████████████ | 9/10 [09:00<01:00, 60.00s/it]
1: 90%████████████████████ | 9/10 [09:00<01:00, 60.00s/it]
2: 90%████████████████████ | 9/10 [09:00<01:00, 60.00s/it]

このように、それぞれのプロセスでの進捗状況が見られるようにしたいです。

発生している問題

1つのプログレスバーが上書きされて出力される。

例えば、以下のコードの場合で、1個目のプロセスがfor文の中の任意の処理を一回終えると次のような出力がターミナル上にでます。

0: 10%█　　　　　　　　　　　　　　　　 | 1/10 [01:00<09:00, 60.00s/it]

次に、2個目のプロセスがfor文の任意の処理を一回終えますが、この進捗が出力される場合、上記のプログレスバーがターミナル上から消去され、次のような出力がターミナル上に出ます。

1: 10%█　　　　　　　　　　　　　　　　 | 1/10 [01:00<09:00, 60.00s/it]

したがって、見かけ上では1つのプログレスバーが上書きされるようになってしまいます。

該当のソースコード

import tqdm
import concurrent.futures

def f(idx):
     n = 10
     for i in tqdm(range(n), desc=str(idx)):
          # 任意の処理
     return

if __name__ == '__main__':
     num_process = 3
     executor = concurrent.futures.ProcessPoolExector(max_workers=num_process)
     for idx in range(num_process):
          executor.submit(f, idx)

Comments

[TakaiY]

「プログレスバーをプロセス分出力させたい」というのはどのような出力を想定していて、実際はどのような出力になっているのかについて、具体的に書いていただけますか？
回答はここではなく、質問を編集して記入してください。

Answer 1

ちょっと手を加えるだけでそのようなことを実現することはできません。

基本的にCLIのプログラムは1行だけしか制御できません。 シングルスレッドのプログラムでプログレスバーのような表示をするにあたっては、書いてはバックスペースで消し、書き直しては消し、というような処理を行なっています。
それを、複数のスレッドで同時にやれば、別のスレッドがどのように描画しているかもわからず、同じ行に複数のスレッドが書いたり消したりすることになってしまいます。

複数のスレッドの進捗を上手く描画したいのであれば、描画用のスレッドを新たに作って、各スレッドがそのスレッドに情報を渡し、それを上手く描画スレッドが表示するというかたちにするなどの手があります。
画面の任意の場所に任意の文字などを表示するには、cursesというライブラリを使うことができます。
https://docs.python.org/ja/3/howto/curses.html
他にも方法があるかもしれません。

また、いっそのこと、tkinterなどを使ってGUIの画面にしてしまうという手もあります。

Comments

[tthk]

ご回答ありがとうございました。