肥大化するMySQLのデータにどう立ち向かうか

Question

最近、嬉しい事に自分のサービスのリクエスト数が増えてきました。
特定のリクエストに対して毎度DBへRead/Writeが発生しており、
それらのデータをまとめてレポートとして集計し、ユーザに見せたりしてます。

リクエストが尋常じゃなく増えたときがあり、これがきっかけでいくつか問題起きてます。

・ 裏側で回ってるレポート集計とかがIOが多くなり、DBが詰まる原因になってる
・ データ量がどんどん多くなってきて、すぐにデータ量の限界を迎える。都度不要なデータは消してるものの、追いつかないという感じです

何度かDBをスケールアップしたのですが、そろそろMySQLの限界なんじゃないかとも考えてます。

そこでお聞きしたいのは、2点です。

1. MySQL以外で大規模なデータを扱うのに適したサービスって、どのようなものがありますか
2. 多くなりすぎたデータでも、一部のレポートは過去データを見たい時があるので、DBからは消すがバックアップはとっておきたいです。MySQLのバックアップってどうやって取るのが一般的なのでしょうか。

Answer 1

1. 多くなりすぎたデータでも、一部のレポートは過去データを見たい時があるので、DBからは消すがバックアップはとっておきたいです。MySQLのバックアップってどうやって取るのが一般的なのでしょうか。

バックアップはmysqldumpでダンプを取るのが一般的だと思います。障害対策用のバックアップの意味でも使われることが多いと思いますが。
なお、日々増えるデータの過去データを部分的に削除したいなら、MySQLのパーティショニング機能を使うといいと思いました。
参考サイト： MySQLパーティショニングの設定、追加、削除、再構成

Answer 2

• まずちょっと前に流行ったビッグデータの処理と言えばNoSQL
• たんにテーブルの肥大を緩和したいならパーティショニング
• 集計の効率化を考えれば、よくある集計結果はサマリーテーブルを用意して

同じ集計を何度も行うことをなくす

• またリアルタイムで集計が難しそうであれば予約をして結果をテキストファイルで

返すような仕組みを検討する