Linuxで動作が固まってしまう。topコマンドのCPU占有率とAzureポータルのCPU利用率の違い

Question

AzureでVM(4vcp、16 GBメモリ)のクラウドサーバをレンタルしており、とあるデータ分析をしています。サーバはubuntu 18.04LTSです。

プログラムを並列に７つ程稼働させているのですが、定期的に動作が一時的に固まってしまいます。ほおっておくと数分後～数十分後にまた動き出します。その間はプログラムは動いていなく停止しているようです。

原因を調べていたところ、使用しているとあるライブラリ(libcurlのラッパー)へアクセスをする場合にまれに一時的に固まってしまうようでした。

アクセス時にCPUで処理しきれなくなり固まってしまうのかと考えていましたが、AzureポータルのVMのCPU利用率を確認してみると20％以下で問題がなさそうでした。しかしながら、topコマンドを使ってみると13％*7プログラムで91%ありました。
そこで質問なのですが、

1.ライブラリ(libcurlのラッパー)へのアクセスでCPUの処理が追い付かず数分間停止することはありえるのでしょうか。

2.なぜ、AzureポータルのVMのCPU利用率とtopコマンドでこんなにも占有率が異なるのでしょうか。どちらが正しいのでしょうか。

3.Linuxで動作が一時停止してしまう理由はその他何か考えられるでしょうか。

参考までにtopコマンド後のスクリーンとAzureポータルのCPU利用率のスクショを次になります。宜しくお願い致します。

補足
一時停止されてしまう時間を計測してみたところ、約950秒間止まっているようでした。6時間の稼動で、938秒の一時停止が5回、944秒が5回、952秒が2回、947秒が１回ありました。
また、libcurlのラッパーはTyphoeusというのを利用しています。

Comments

[kabao]

2.なぜ、AzureポータルのVMのCPU利用率とtopコマンドでこんなにも占有率が異なるのでしょうか。どちらが正しいのでしょうか。

については、Azureポータルのグラフは、1分とか5分平均になっていませんか？
それに対してtopコマンドは1秒とかになっていると思います。topでは短時間の高騰をとらえられるのに対して、Azureポータルの方では平均化されてしまうので値として低くなってしまうのではないかと。

[kzd847686]

ご回答ありがとうございます。Azureポータルのグラフは1分間隔でしたので1分平均と思われます。
topコマンドは常時1つのプログラムで13％前後×7個の90%程でした。

Answer 1

Azureを利用したことがないので、あくまで物理やAWSと比較した時の観点で参考程度に留めていただければと思います。

1)libcurlでサーバのファイルに書き込んだりしていないでしょうか。
もしそうであれば、ioが足を引っ張っているとかはないでしょうか。
添付していただいている画像からだとiowaitは0となっていますが、
サーバがビタッと止まる時はio待ちというパターンもあります。

2)4cpu8スレッドなのでしょうか？
であれば、13%の使用率のCPUが8個なので単純足し算ではなく、
ざっとですが(13*8)8になるので、トータルのCPU利用率は13〜20%程度なので、
コンソール（Azureポータル？）から見る利用率とそこまで大きな差はない様に思われます。

3)詳細な役割がわからないマシンなので絞るのは難しいですが1)でも書きましたが、
ioも可能性として上がってくると思います。
AWSではディスクへのアクセスを事前に予約して使い切ってしまうと、極端に遅くなったりという経験があります。Azureでも同様のものがあるのかなと推測したりしています。

明確な回答やアドバイスでなくて申し訳ありませんが、何かの参考になれば幸いです。