マルチスレッドでCPUのコア/スレッド数を超えたスレッドを指定するということはどういうこと？

Question

知りたいこと

今日マルチスレッドについて触れたばかりです。
全体的に並列処理についての理解がありません。

OpenMPを使用してマルチスレッド化を試みているのですが、

並列計算をする際にCPUに記載されたコア数/スレッド数を超えたスレッド数を設定できます。
それによって計算速度も上昇します。
これが一体何を意味するのか、ということが知りたいです。

cpuはi7 9700F,8コア8スレッドです。
https://ark.intel.com/content/www/jp/ja/ark/products/193738/intel-core-i7-9700f-processor-12m-cache-up-to-4-70-ghz.html

実装内容

並列計算は以下のように書いていて

#include <omp.h> // OpenMP
~~~~省略~~~~
int N = 1000000;
#pragma omp parallel for num_threads(num) // numの値がスレッド数にあたる
	for(int i = 0; i < N; i++)process(); // 100万の処理

process()は

	int num = 0;
	for(int i = 0; i < 10000; ++i) // 内部で1万ループする
	{
		++num;
	}

process内1個の計算時間は0.02msくらい

計測結果

スレッド数とその速度を表にまとめた図が下です。

18スレッドまではCPUのコアが利用できるのでわかります。
16512までCPUコア数、スレッド数超えた状態で指定すると、指定スレッド数が倍々で上がるにつれ計算効率が最大3%くらい上昇しています。
なぜ上昇するのかもよくわかってないんですが、
一番知りたいのは、CPUに記載されてるスレッド数を越して設定して大丈夫なのか？という点です。
どなたかご教授いただけますと幸いです。

Answer 1

マルチスレッドと CPU のコア数は関連ありません。CPU のコアが一つでもスレッドは複数立てられます。マルチスレッドはあくまで「並行処理」の仕組みであり、「並列処理」とは直接は関係ないからです。

「並行処理」とは人間が見た時に同時に動作しているように見えれば良いという処理です。なので例えば処理 A と処理 B を互い違いに高速で切り替えてやって見せれば人間の目からは同時に動作しているように見えます。これが並行処理です。マルチスレッド、マルチプロセスも同様に処理の優先順位を決めて高速に切り替えることであたかも同時に処理が行われているように見えます。また、「同時に見えれば良い」と述べましたが、真に同時であっても構いません。

対して「並列処理」は真に同時に計算が行われなければいけません。なので CPU のコアが二つ以上なければ並列処理はできないということになります。また、一般に並列処理といった場合、計算の手順は同じだが計算するデータが異なるものを大量に計算する場合を指すことが多いです。GPU での計算なんかがそうですね。ですので並列計算といった概念はあまり馴染みのないものかもしれません。

さて、じゃあなぜスレッドをコア数を超えて増やして計算速度が向上するのか？という問に答えます。スレッドの動作イメージは「余った時間で処理を切り替えていく」といった形です。コア数に対してスレッドが多くても手の空いたコアにスレッドが割り当てられて計算が進みます。そしてそれは途中で止まるかもしれません。とにかくスレッドの数が多いほど同時に計算できる量が増えます。しかしこれも頭打ちがあって、スレッドを切り替える動作自体がネックになって次第に速度は伸び悩むでしょう。もしくはメモリが足りないとか。

並行・並列処理のパフォーマンス計測は非常に難しい分野ですので、本か何かで情報を入手してみるのが良いかと思われます。Haskellによる並列・並行プログラミングなんかはおすすめです。

Comments

[iMori]

丁寧で非常にわかりやすい解答ありがとうございます！
おかげで疑問が解けました。

Answer 2

CPUの論理コア数を少々超えたくらいまでは上がっても不思議はないですが、遥かに多いスレッド数まで速度が上がるというのはさすがにちょっと不自然ですね。

    for(int i = 0; i < 10000; ++i) // 内部で1万ループする
    {
        ++num;
    }
``` この部分がおそらく普通のコンパイラなら消えて無くなるので、スレッドの生成だけを計測していることになりますので、それが問題なのではないかなと思います。