pythonでの並列処理でスレッド数が足りない

前提・実現したいこと

5つの関数（メインを含めると6つ）を並列で行いたいです。
CPU情報を調べてみたところ4個のコア、4個のロジカルプロセッサと記載されていて、threadで実装しようとするとスレッド数が足りないように思います。
調べたところmultiprocessingとjoblibというモジュールではスレッドではなくコアで並列処理を行うとなっていたのですが、threadとmultiprocessingかjoblibを同時に行っても問題ないでしょうか？

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

python
1from threading import Thread
2from multiprocessing import Pool
3
4def func_1():
5    while True:
6        ・・・   # とある処理
7
8def func_2():
9    while True:
10        ・・・   # とある処理
11
12def func_3():
13    while True:
14        ・・・   # とある処理
15
16def func_4():
17    while True:
18        ・・・   # とある処理
19
20def func_5():
21    while True:
22        ・・・   # とある処理
23
24if name == "__main__":
25   Thread(target=func_1).start()
26   Thread(target=func_2).start()
27   Thread(target=func_3).start()
28
29   pool = Pool(2)
30   pool.apply_async(func_4)
31   pool.apply_async(func_5)
32
33   while True:
34       time.sleep(60)

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

行動規範の内容に同意します

回答2件

ベストアンサー

こんにちは。
結論からいうと、コア数を超える数のスレッドやプロセスを増やせますし
プロセスごとにスレッドを増やすことも可能です。
（プロセスとスレッドの関係はおわかりですか？）

Pythonの場合、スレッド数はいくら増やしても1コアで処理されます。
一度に実行されるスレッドは常にひとつで、その待ち時間にほかのスレッドが実行される訳です。

マルチプロセスは別々のコアで処理されます。
もしコア数以上のプロセスを作った場合は、コアを共有するプロセスが出てきて
あるプロセスの待ち時間に別プロセスが実行されます。

投稿2019/02/09 16:47

firedfly

総合スコア1131

yeahboy

2019/02/09 17:07

ありがとうございます。あまり遅延を出したくない処理なのですが、この場合は待ち時間がない分multiprocessingのほうがいいのでしょうか？ちなみに5つの関数のうち、3つがサイトからデータを取得する処理（約0.1秒）、2つがデータを送る処理（約2秒）で、取得データがある条件を満たしていればデータを送るというプログラムです。取得→送信　または　送信中→取得　の間の時間を極力短くしたいです。