処理速度について

Question

以下の２つの例を比較してどちらの処理が早いでしょうか？

・MYSQLで100万レコードからカラム指定で一件取得

SELECT from_dt, to_dt FROM TARGET WHERE NAME='ABC'

・テキストファイルで取得

if(file_exists(PATH.'/ABC.txt')){
  list($from_dt, $to_dt) = file(PATH.'/ABC.txt');
}

以上、宜しくお願い致します。

Answer 1

テキストファイルにも100万レコードが含まれているのでしょうか。

だとすると、全件読み込みしている後者のコードの方が圧倒的に遅くなります。

Comments

[Clementine]

テキストファイルは100万ファイルある事を想定して頂ければよろしいかと思います。
※現実的ではありませんが・・・

検索のターゲットとなるWHERE句をファイルではファイル名そのものにして
ファイルの存在確認で対応しようとしております。

Answer 2

MySQLの場合もファイル名の場合もインデックス化の有無によって大きく速度が異なるため、場合によるとしか言い様がありません。

###MySQLの場合
NAMEがインデックス化されていれば高速ですが、されていなければとても遅いです。その他、エンジンの違い(MyISAMかInnoDBか)やuniqueなのかでも少し違いが出ると思います。

###ファイルの場合
最近の比較的新しいファイルシステムではディレクトリ内のファイル名をDBと同じようにインデックス化しているものがあります。つまり、同様に、インデックス化に対応しているファイルシステムであれば高速ですが、対応していないファイルシステムであればとても遅いです。

あとは、細かい環境の違いによって速い遅いが変わるため、実測しないとわからないと思います。少なくとも、

インデックス化されたMySQL＝インデクス化対応ファイルシステム＝O(log n)
＞＞＞＞＞＞＞＞ (対数の発散の遅さの壁) ＞＞＞＞＞＞＞＞＞
インデックス化されていないMySQL＝インデックス化未対応ファイルシステム＝O(n)

という関係だと思われます。

Answer 3

100万のレコード or ファイルは今後増え続けるのでしょうか？
１つのディレクトリにファイルが格納されるのであれば、ファイルサーチだけで重くなりそうです。
※要は件数次第ってこと
件数が多ければ断然DBでしょう。（名前部分に当然インデックスがあることが前提です）

Answer 4

データベースの場合は、100万レコードから1レコード抽出。
ファイルの場合は、100万ファイルからファイル名を直接指定して中身を丸ごと取得。
ということですよね。
データベースの場合、接続から考慮するのであれば、どっちもどっちな気がします。
接続済みの状態からであれば、データベースの方が速そうな気がします。
実際にやって計測するのが手っ取り早いかと思いますよ。

Answer 5

NAMEにUNIQUE属性がついているならCONSTでマッチするから
mysqlも相当速いと思いますよ

まぁファイル検索も1件だけなら後者のほうが速そうですが

Comments

[yambejp]

ああ、なるほど100万ファイルですかぁ
そうなるとファイルシステムの管理に相当負荷がかかるので
かなり遅くなってるかもしれませんね

まぁ実際にはありえない運用でしょうから比べる意味はありませんが