データベース及び、ファイルストレージでのバイナリーデータの扱いについて

Question

現在、MySQLのひとつのデータベース内で、画像等のバイナリーデータを扱う専用テーブルを用意して管理しております。
また、センター間で、Replicationを構築して運用しております。
利用方法については、複数の工場にWebサーバーを配置し、クライアントは、Webサーバー経由でバイナリーデータを扱っております。

バイナリデータのデータ量は、現状、1G程度ですが、今後、5倍程度増える予定です。

バイナリデータを扱う際に、他に方法がないのか？
疑問に思いましたので質問させて頂きました。

検討している方法ですが、バイナリーデータをNoSQLなどに配置し、MySQLとは切り離しをしようか検討しております。
NoSQLを利用しようとしたのは、バイナリーデータ以外に、MySQLのデータ構造が少し複雑になってきているので、JSon形式で保存できるMongoDBに、MySQLへのデータ保存時に、MongoDBにもJSon形式で保存するか、定期バッチでMySQLへ保存するか考えております(こんな運用は手間なだけ？)。

Google cloud storage や Amazon s3 も検討はしておりましたが、見積がしきれておらず、今回は見送りました。

状況によって違うとは思いますが、皆様の行った構築や、こういった方法がよいというのがあれば、ご教授いただけないでしょうか。

よろしくお願い致します。

Answer 1

複数種類のデータベースを使うのは百害あって一利なしと思いますが。

Answer 2

バイナリデータを扱う際に、他に方法がないのか？

疑問に思いましたので質問させて頂きました。

現在の実装がどのような要件を満たすためにMySQLにバイナリデータを保存しているのかがわからないため、
回答が難しいかと思います。

方法だけで考えれば、
MySQLにはファイルそのものではなくファイルパスをデータとして持つ（ファイル自体は別の方法で同期する）というのはよくやる方法かと思いますが、それぞれ一長一短あるので、どういった方法がベターなのかは要件次第になるかと思います。

NoSQLを利用しようとしたのは、バイナリーデータ以外に、MySQLのデータ構造が少し複雑になってきているので、JSon形式で保存できるMongoDBに、MySQLへのデータ保存時に、MongoDBにもJSon形式で保存するか、定期バッチでMySQLへ保存するか考えております(こんな運用は手間なだけ？)。

MySQLのデータ構造が複雑になってきた→MongoDBでJsonにも保存する
という理由がよくわかりません。どういった効果を期待されているか補足いただけますか？

Comments

[退会済みユーザー]

ご回答ありがとうございます。

アドバイスを頂きまして、データ破損時に、バイナリデータは、復元しなくてもよいので、ファイルそのものを保存して、Rsyncなどで同期をしてもよいかもしれないと思いました。

データベースの構成も悪いのですが、現状、1つのデータを取得する際に、10個のテーブルの参照しており、3秒程度かかっています。また、取得後、データをJsonに加工して利用してることを考慮し、更新時にMongoDBにJson形式で書き込んでおけば、参照時のデータの取り扱いが楽になるかと思いました。

[tanat]

データ量にもよるのですが、まず最初にすべきはテーブル構造やインデックスの構成、SQLの組み方の最適化なのかなという印象です。
3秒のうち、ボトルネックになっている部分が見つかっていないのであれば、施策を考えるより最初にこれを見つけるべきです。

MongoDBを参照用のキャッシュとして扱うことで、
2回目以降の参照を容易にしたいということであれば、key-value方式でキャッシュを持つというのはよくあるケースだと思います。

ただしこの場合、キャッシュが最新のデータであるかどうかを保証する必要があるかによって、実装の難易度は大きく変わります。
キャッシュのデータが最新である必要があるのであれば、マスターデータの更新のタイミングでキャッシュを破棄するなどの対応が必要になります。
ただ、（RDBMSにもよりますが）クエリキャッシュに乗るようにSQLが組まれていれば、この辺のキャッシュ管理はRDBMS側でやってくれるので、
下手にアプリケーション側で何とかするよりもSQLとRDBMSの設定見直しの方が効果がある場合もあります。