Amazon RDS（MySQL）のInsert速度が、突然遅くなる件について

恐れ入ります。

現在、仕事でAmazon RDS のMySQLを使用しています。

主に、ログデータの移動のようなことをバッチで行っています。

１回のバッチで、１００～１０００万件ほどの処理を何回か実行します。

単純なSQLで、１つのテーブルから１つのテーブルへの移動で、
insert... select で実行しています。

ただ、１０秒程度で終わる処理が、
繰り返していると、あるときに突然遅くなり、２～３分かかるようになってしまいます。

この重い処理を通り抜けると、以前よりは遅いですが速度が戻ってきます。

原因を調べている間に、primary や index をすべて外して処理することも実施しましたが、
体感できる速度の変化はありませんでした。。

RDSのモニターでは、
CPUは20%程度、使用できるメモリーも5GB以上の余裕があり安定しているようです。

index も付いていない、単純な１対１のテーブルの insert... select 文ですので、
SQL自体に問題があるとは考えにくいということになり、MySQLの設定調整を調べてみました。

それぞれのサイトで紹介されていた以下のパラメーターを変更してみたのですが、
体感できる効果はありませんでした。

innodb_buffer_pool_size
innodb_lru_scan_depth
innodb_log_buffer_size
innodb_log_file_size
innodb_log_file_size
bulk_insert_buffer_size
max_allowed_packet
innodb_log_file_size

同様の現象について、ご経験のある方がいれば、
教えていただけると幸いです。

sazi

2020/08/22 01:08 編集

確実な再現性はあるのですか？ >繰り返していると、あるときに突然遅くなりは同じ状況で再度実施して再現させることができるなら、多少原因の絞り込みは出来るでしょうが

sazi

2020/08/22 01:10

トランザクション制御はどのように行っていますか？ COMMITのタイミングは？

Mozart

2020/08/22 02:31

確実に再現する場所がございます。複数のテーブルから必要なデータを「insert... select 」で、temporaryテーブルに集めます。その後、temporaryテーブルのデータを、insert... select で実体テーブルに書き込むのですが、ここで、スローダウンします。書き込み方法は、insert... select ではなく、一度データファイルをexport して、その後、load data ... をしても、同じようで、load data ... 時にスローダウンしました。トランザクションは、「全体でコミット、少しずつコミット、常にコミット」で調整してみましたが、体感できる変化はありませんでした。。

sazi

2020/08/22 03:11 編集

ストレージに問題がある可能性もありますけどRDSですしねぇ。再現性はinsertする件数に依存しますか？また、分割コミットはどのような実装ですか？再現する状況で、insert先のテーブルを空にしても再現しますか？

Mozart

2020/08/22 03:13

再現性は件数に依存するようです。大きな量だと、その分遅くなるようです。平時に同じload data を実行した場合、100万件程度のため１０秒未満でした。分割コミットは、ログを時間ごとに２４分割してcommitするようにしてみました。

sazi

2020/08/22 03:21 編集

insert先を同じ構造で別な名前の空のテーブルにしても再現しますか？

Mozart

2020/08/22 03:19

はい。それも実施しまして、再現してしまいました。