pidstatとmpstatの出力が一致しない。

Question

やりたいこと

mpstatコマンドを使用しCPUの各コアの使用率を監視する。
また、同時に、pidstatコマンドを使用し、何のプロセスがCPUを使用しているか監視する。

困っている点

以下のコマンドを実行し、CPU使用率を監視しました。

mpstat -P ALL 1
pidstat -p ALL 1

mpstatのログをグラフ化したものを以下に示します。
以下のグラフはCPU(2core)の各コアの使用率を示しています。ここで、上のグラフのCPUをCPU1、下のグラフのCPUをCPU2と称します。

mpstatと同時に、pidstatを使用し動作しているプロセスを監視したところ、上記のグラフではCPU2の方がCPU使用率が高くなっていますが、CPU2を大きく使用しているプロセスがありませんでした。
逆にCPU1では、pidstatにてCPU1を大きく使用しているプロセスがあるのですが、mpstatのログには出力されていません。

グラフに表示した際に出力が逆になってるのではないかと考え、何度も確認しましたが、合っています。

この、mpstatとpidstatのどちらか片方のログに表示されない原因は何でしょうか？
有識者の方々、ご助力よろしくお願いします。

環境

OS：ubuntu18.04
CPU:2core
メモリ:4GB

Answer 1

状況の詳細が分からないのでヒントだけですが;

逆にCPU1では、pidstatにてCPU1を大きく使用しているプロセスがあるのですが、

pidstat の CPU列は、最後にそのプロセスを実行した cpu番号なので、
そのプロセスの cpu使用量すべてをそのcpuで消費したとは限りません。

そのプロセスを taskset 等で "CPU1" と書かれている cpu に bind しているのなら
確実に "CPU1" を使用したと言えますが、そうでないなら断定はできません。

Comments

[man_]

sigsegvさん回答ありがとうございます。
今回のプロセスはtaskset棟でbindはしていません。

最後にプロセスを実行したCPU番号が表示されるということは、1秒間隔でログを出力した際に、1秒の間であるプロセスをCUP2が実行した後にCPU1が実行するとCPU列にCPU1 の番号が表示されるということでよろしいでしょうか？
また、その場合にCPU使用率はCPU1のみのものか、CPU1とCPU2の両方の平均のCPU使用率でしょうか

[sigsegv]

pidstat の CPU使用率とCPU番号は独立した情報です。1秒あればプロセススイッチは数十回発生しています。CPU番号はその最後の実行の CPU番号であって1秒間ずっとその CPUだったわけでありません。つまり、そのCPU使用率が CPU1 のみか平均かはわかりません。

とはいうものの pidstat の CPU が全部 CPU1 になっているのなら、何かしら理由があると思います。質問文にあるよう mpstat も明らかに CPU1, CPU2 で傾向が違いますが偏っている理由も何かあると思います。

その理由は分かりませんが、CPU使用率とCPU番号がイコールと思い込むと調査の方向を間違えるかもしれないので、参考まで回答しました。

# 念のため確認ですが、CPU1,CPU2と書いてるのは、CPU0, CPU1 のことですよね？ CPU番号は 0から始まるので混乱してなければいいのですが

[man_]

返信ありがとうございます。
CPU1はCPU番号0のCPU、CPU2はCPU番号1のCPUを指しています。