DB退避の方法

Question

AWS RDSでmysql5.6を使用しています。
アクセスログを月ごとにバックアップしようとしております。

# $conditionに月の範囲指定をしています。
mysqldump --defaults-extra-file=./my.conf $table --where "$condition" | gzip > $filename

ダンプを行い圧縮をして、そのファイルを別サーバにアップロードしてその後

# 先ほどの月範囲指定を引き継いでいます。
mysql --defaults-extra-file=./my.conf $table <<EOS
begin;
use dbname;
DELETE FROM $table WHERE $condition;
commit;
EOS

先ほどの条件の月を削除しています。

データ量とスペックにもよりますが、現在この工程で、ダンプに5分、アップロード30秒、deleteに5分で合計約10分程時間を要しており、その間max_connectionsに達してしまいDBへの書き込みが出来ない状況になっています。

このような場合、どのようにするのがベストなのでしょうか？
素人考えですが、ダンプ自体はスナップショットに退避したものから取得すれば良いと思ったのですが、deleteはそういう訳にいかず、スペックを上げるしかないのかなと思っているところです。

不勉強で恐れ入りますが、ご教授ください。
よろしくお願い致します。

Answer 1

イマイチなにをしたいのか意図が読めませんが
運用しているDBからデータを削除したらバックアップとは言えませんし

とりあえずであれば、削除フラグのカラムを設けて、
先行して当該月のデータに削除フラグだけつけてしまい、あとから削除フラグの分を
本当に削除すれば少しは処理が分散できるかもしれません。

月ごとにデータを分散管理するだけならパーティショニングすれば
わざわざ外にデータを持ち出すこともないような気もしますが
運用方法しだいでしょうか・・・

Answer 2

max_connectionsになる原因はなんでしょうか？
単にこの値がちょっと少ない程度であれば引き上げれば解決しそうな気もします。

Answer 3

月毎に異なるテーブルにログを記録するというのはナシですか？

Comments

[moonphase]

月次でバックアップしたものを削除しているなら、最大で一ヶ月分しか貯まっていないように思えますが、どうなんでしょうね。