python3 コア数・スレッド数以上の並列処理

Question

Python3のconcurrent.futuresでの並列処理でPCのコア数、スレッド数以上の処理をした場合、処理速度は遅くなってしまうのでしょうか？

やりたいことは

1つ目のプログラム
def func1()
・・・
def func2()
・・・
def func3()
・・・
executor = concurrent.futures.ThreadPoolExecutor(max_workers=3)
executor.submit(func1)
executor.submit(func2)
func3()

2つ目のプログラム
def func5()
・・・
def func6()
・・・
executor = concurrent.futures.ThreadPoolExecutor(max_workers=2)
executor.submit(func5)
func6()

PCのコア数、スレッド数は4つです。
PCが1台しかないのでこれら２つのプログラムを同時に実行したいです。
ついでに実行中にネットサーフィンとかもしたいです。

Comments

[cateye]

回答に移動しました。

Answer 1

幾つか誤解があると思います。

• CPUのコア数・スレッド数とOS上で走るスレッド数に直接の関係はありません。ソフト的なスレッドはいわば「仮想的な」スレッドです。シングルコアCPUであってもマルチスレッド動作は可能です（個々のスレッドの処理をぶつ切りにして超高速で切り替えながら回す・・・ということをします）。
• 更にpythonのスレッドはGILというもので制御されており、「pythonの」マルチスレッドはOSから見ればシングルスレッド動作になります。そもそも「pythonの」スレッドで（マルチコアの計算リソースを活用する的な意味での）マルチスレッドによる高速化は図れません。
• マルチプロセス動作ならマルチスレッドが効きますが、オーバーヘッドもかなり大きいので、けっこう大きな粒度で切り離さないと高速化は大して見込めないと認識してください。
• 「pythonの」スレッドは並行処理や非同期処理などのためのもので、CPUの計算リソースは消費しないが時間がかかる処理（I/O待ちなど）をパラレルに行うためには有効です。

Answer 2

処理速度は遅くなってしまうのでしょうか？

確認するにはload averageを見るのがいいのですが、LinuxやBSDの環境ならばwコマンドあるいはtopで見れますが・・・環境が書いてないので・・・Windowsは難しいかもです。load averageの意味はググって見てください。（load average＝実行キューに繋がれているプロセス・スレッド数です）

Comments

[cateye]

あと、Windowsに限らず現在のGUIを使うOSは通常2００や3００ぐらいのプロセス（スレッド）が動いています。
Linuxmint19.1の何もしていない時（ブラウザとコンソールぐらい）で、スレッド数は260で、CPU0.5% load averageは、 0.23, 0.27, 0.19でした。なので、１０や２０スレッドが増えても問題ないと思います。画面表示でもすれば、ほっといてもI/O待ちが発生します。
　環境：AMD Ryzen5 1600x　MEM:16G　カーネル：4.18.0-17