AWS EC2にネットワーク制限はあるのか？

Question

はじめまして。
私は現在AmazonEC2から外部のサーバに対してデータを相互にやり取りする処理を行っております。
最近この処理のスレッド数を増やしたくAWSに運用を移行し試してみたのですが、AWSでこの処理を行うとある一定時間を過ぎると急に処理速度が大きく低下するようになっています。
(以降前はVPCやEC2のようなものでは無く、通常のデスクトップPCで行っておりましたがその運用環境ではこのような事はありませんでした)

私の知識としてCPU、メモリ、ネットワークどこかにボトルネックがあると思い出来る限り調べたのですが。
CPUは特に使用率が高いわけでも無いのに時間経過で大きく低下する可能性を考え難く。
メモリはログを取りましたが特に使用率が高いわけでも無い。

となるとネットワークが、例えば帯域制限のような事を行われているとのが妥当かと思いました。
しかし、調べてもそのような情報は見当たりませんでした。
また上記の画像を取得した際のインスタンスタイプはc5.x9largeですが一度c5n.x9largeでも試しており、ネットワークが問題ならば解消・緩和されるのではと思っていたのですが
c5n.x9largeでも同様の問題が発生しているので何が問題か絞り込めておりません。
このネットワークは内部では無く外部のサーバに向けて送受信されているものです。
また、以前の運用環境と同スレッド数で行いましたので(画像の1回目の処理)スレッド数の増加(トラフィックの増加)による外部サーバ側の制限という事もないのかなと考えております。

質問としましては、上記画像からボトルネックを見つけるというのは不可能だと思いますので
一旦ネットワークに絞り込んで帯域制限のような事があるのか、あるならばその解消法をご教示いただきたく。
また仕組み上・あるいはモニタリングされた内容を見る限りそういった事は無い、あり得ないという事でしたらネットワーク以外のボトルネックを重点的にチェックしたいと思っております。

質問としてはあまり適切では無いかもしれませんが、何卒宜しくお願い致します。

###2020/09/21 追記
ログ取得にはあまり詳しくなく、調べて見て見やすそうだったhtopというものを利用してみました。

処理が順調な時点でのログ

処理が急速に遅くなり始めた瞬間のログ

数秒の変化を1枚の画像にまとめたものです。

処理が遅くなってからしばらく経ったログ

今回取得するべき内容がこれで網羅出来ている気はしませんが、まだ見方も良くわかっていないので自分なりに調べてひとまずこれが何を意味しているか理解したいと思います。
ログに関する知識が無い事。1日1度しか行えない不可逆的かつ再実行が難しい処理に関する部分であり試行回数も重ねられないことから情報が小出しになってしまい申し訳ございません。

Comments

[saoyagi2]

回答にまで至る情報を見つけられませんでしたので、こちらでコメントだけ。もしも何か参考になりましたら幸いです。

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/compute-optimized-instances.html#compute-network-performance によると「最大〇〇Gbps」となっているインスタンスはネットワーク I/O クレジットメカニズムが適用され、一定以上の通信を行うと帯域制限を受けます。しかし c5.9xlarge/ c5n.9xlarge は対象外ですので、これが原因とは考えにくいです。

他には、EBS もクレジットの適用を受けますので、ディスクの読み書きが激しすぎますとパフォーマンスが落ちます。

[Tribute]

回答ありがとうございます。
ディスクへの書き込みがさほど無い処理だと考えていたのでEBSについてはあまり考えておりませんでした。しかし、よく考えるとインスタンスとして弱い所はそこでしたね。
c5.9xlargeとc5n.9xlargeで挙動があまり変わらなかったのでc5nにネットワークは劣るものの、一度c5d.x9largeを試してみようと思います。

[hana_yama_san]

ああ、書き込もうとしたら同じような事を書いている人が既にいましたね。
業務経験上ディスクI/Oはバカにできません。
OSが何なのか知りませんが、秒刻みでその辺を取得する
スクリプトなりを実行させて、問題を突き止めてください。
決定的証拠がある訳でもないので、回答欄ではなくこちらに
記載させてもらいます。

[Tribute]

ありがとうございます。
こちら毎日深夜行うバッチ処理のようなものでして、昨日深夜分はc5d.x9largeにしたものの同様の問題が発生しました。
ただバッチ開始時間にログ等取得する方法を調べきれなかったので本日分で確認してみようと思います。

[Tribute]

OSの方はAmazon Linux 2 AMIになります。

[yu_1985]

ここまでの大きなインスタンスを定常的に使うケースは多くないと思うので、このぐらいの話になるならサポートに協力を仰ぐのも一つの手段かと思います。

あと、もっと多くのメトリクスをEC2インスタンスのOS内部から取ってみて虱潰しに調べてみるしかないですかね…。

[Tribute]

ありがとうございます。
もう2，3日やってみて取っ掛かりも掴めなさそうならサポートを利用したいと思います。

情報もやはり足りないですよね・・・良い機会なのでボトルネックを調査する方法学んでいきたいと思います。

[yu_1985]

ボトルネック調査は場合によってアプリの処理がどうハードウェアにアクセスしているかまで考慮しなければいけないこともあって大変ですよね…。

単純なところですが、CloudWatchのデフォルトだとサーバ内のメトリクスは取れないので別途エージェントを入れてメトリクスを見るところからまずはやってみるといいと思います。（もちろん、情報が増えてもそれが必要な情報かどうかはわかりませんが…）
CloudWatch Agentでもいいですし、CloudWatch Agentが使いづらければDatadogやMackerelのような監視サービスを使ってみてもいいでしょう。DatadogもMackerelも、サーバ1台のメトリクス取るだけなら無料でできたはずなので。

[Tribute]

ありがとうございます。
監視サービスは無知なのでサービス紹介いただけるだけでありがたい限りです。
既に有料かつそれなりに大きなインスタンスを使っていることもあり今更無料である事にこだわりは無いのでそれらサービス利用してしっかりと調査したいと思います。

Answer 1

色々メトリクスを見た結果恐らくEBSがボトルネックになっていることが判明し
ここ数日、EBS周りの対策を行っていました。
EBSについての理解が浅かったため数日かかってしまいましたが
昨日深夜分。EBSボリュームを増やし、プロビジョンド IOPS SSD(io2)にし。
IOPSをボリュームの範囲内での最大値にしたところ滞りなく処理が完了しました。

このことからひとまずEBSがボトルネックになっているという事は判明したかと思います。

プログラム上では一切の書き込みを行っていないはずなのに書き込みスループット・IOPSが多いのは一体なぜなのか。
EBSボトルネック対策の一つとしてc5n.9xlargeの持つ揮発性のローカルディスク(?)の中でプログラムを動作させたがやはりEBSの方に書き込みが行われる等。私にはまだ理解できていない部分が多々ありますが。

ひとまず当スレッドはボトルネックの調査というところにポイントを当てておりますので一旦これで解決とさせていただきたいと思います。

皆さまのおかげでEBSに目を向けることが出来、ボトルネックが判明いたしました。
誠にありがとうございます。