データベースのシャーディングは、物理サーバごと分けるのか否か

Question

シャーディングをまだ完全に理解出来ていないので、頓珍漢な質問であれば申し訳ありません。

漢(オトコ)のコンピュータ道: Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン

この記事では、MySQLとSpiderを組み合わせてシャーディングを行った結果、パフォーマンスが向上したという事例について紹介しています。
シャーディングは、単一のデータを複数のデータベースサーバに分け、処理能力を向上させる手法、との事ですが…

MySQL Spiderエンジンを使ってみた。～データベースシャーディング(sharding)とは～ - 気ままに書いてみました日記

この、「複数のデータベースサーバ」とは、複数の「データベースサーバソフトが入った物理サーバ」なのでしょうか。
それとも、複数の「データベースサーバソフト」なのでしょうか。

もし後者の、複数の「データベースサーバソフト」という意味であるならば、
単一の物理サーバに複数のMySQLサーバソフトをインストールし、それをSpiderで繋げる事でもパフォーマンスを向上させられる、という理屈になるのですが…

Answer 1

この、「複数のデータベースサーバ」とは、複数の「データベースサーバソフトが入った物理サーバ」なのでしょうか。

読む限り**複数の「データベースサーバソフトが入った物理サーバ」**ですよね

同じデータベースサーバでデータベースを分ける：パーティショニング
別のデータベースサーバでデータベースを分ける：シャーディング
としているようです

ただ

• 障害点が増える
• SpiderエンジンがどこまでMySQLに追従できるか

は懸念点として残るかとはおもいます

あと後者のページで言及のある

• メモリに乗り切らないデータはディスクを読み込んで探さなければならない。
• ディスクからデータを探すのとメモリからデータを探すのでは速度差に10の５乗～６乗近くの差が出る(10万倍～１００万倍)

は確かにそうなのですが、例えば2台に分けるかわりに倍の容量のメモリを搭載(サーバの調達コストまで考えると倍以上搭載できるはず)した時はどうなのかは考えておく必要はあるかと
もちろん当該サーバで目一杯搭載済みの場合は有効ですね

ともかくパフォーマンス向上策で万能な物はありませんので..

単一の物理サーバに複数のMySQLサーバソフトをインストールし、それをSpiderで繋げる事でもパフォーマンスを向上させられる、という理屈になるのですが…

うまくデータの走査範囲が限定されることにより性能が向上するケースもあるかもしれません
ただそのためにわざわざ複数のMySQLを動作させるのは無駄(テーブルかデータベースを分けるだけでよい＝パーティショニング)だと思います

Answer 2

ポートを3306と3307等に分けて、一つのサーバー内に複数のMySQLを起動させた場合、
各MySQLデーモンでメモリを食い合ってしまうので結局イマイチな結果になる、という可能性もありますね。

グローバルバッファとスレッドバッファがあって、グローバルバッファはMySQLデーモンごとに割り当てられるものですから、
例えばメモリが4MB使えるのDBに4つMySQLを置くと、それぞれにグローバルバッファのメモリが必要になり、その中からそれぞれスレッドバッファを捻出することになります。

出来る、出来ないでいったらきっと出来るのでしょうが、実用性を考えるのであれば、やらないという判断になるのではないでしょうか。