画像アップロードを繰り返し行っていると速度が低下する？

Question

いつもお世話になっております。

現在PHPでブラウザからファイルアップロードしてWebサーバーに保存する機能を実装しています。

機能自体は実装し終わっているのですが、ふと「DBに保存する方法もあるんだっけ。どう違うんだろう」と思ったので少し調べてみたら、以下のような文面を見つけました。

自分が作るような小規模なWebアプリケーションなどならパス保存かな
という印象ですが、ディレクトリ構成なども考えておかないと
突然遅くなったりということもあるのでファイルで保存の場合は
注意しておきましょう！

【参考】
画像をDBに保存するのか？パスだけ保存するのか？

突然遅くなるというのは、おそらくファイル数（ファイルサイズ？）が膨大になってきた場合に発生するのだろうと考えているのですが、ディレクトリ内の画像数が増えただけでそこまで遅くなるものでしょうか？また、もし遅くなるのだとしたら、画面で表示する時の読込みとPHPで画像を保存する時両方とも遅くなるのですか？

画像ファイル数はMAX10万件程度を想定しています。

Answer 1

ファイルシステムの実装に依存しますが、ディレクトリ直下のファイル数によって遅くなります。
顕著に遅くなるのはファイルの列挙で、ファイル名を直接指定する場合も遅くなることがあります。

例えば、ext3でhTreeが有効化されていない場合、ファイル名を指定したアクセスも線形探索になるそうです。
http://ja.stackoverflow.com/questions/11794/
（それ以前にext3はディレクトリ配下に31998ファイルしか保存できませんけども）

ext4を使っていて、ファイル名を直接指定してアクセスするだけであれば、影響は少ないでしょう。
しかし、実際にはファイルを列挙する処理が意外とあるものです。
ファイル数が多くなる見込みなら、ディレクトリを分割したほうが賢明でしょう。

Comments

[hitsujimeeee]

なるほど、ファイルシステム次第だけどファイル名直接指定でも遅くなることがあるんですね。

ファイル名から規則的にディレクトリ分割してみようと思います。ありがとうございました。

Answer 2

はい、1つのディレクトリに大量のファイル（万単位）を置くと、極端にアクセスが遅くなることがあります。

ということで、大量にファイルを置く場合、頭文字でフォルダを作って、その中に入れる、ということがよく行われます。

Answer 3

まぁDBにバイナリデータを登録していいことなんて何もないですからね
検索がきいたり集計ができたりするわけではないので

画像データとDBを連携するならデータはあくまでファイルとして管理し
DBには画像のIDとマイムタイプ、集計するであろう情報（サイズや縦横の長さ、アップ日など）
を保持するのが妥当です

Comments

[maisumakun]

「SQLアンチパターン」という書籍で「ファントムファイル」として挙げられているように、「データごとDBに格納する」というのも、DBで一元管理できるようになるので、状況によってはじゅうぶん現実的な選択肢だと思います。

もっとも、AWS S3などのオブジェクトストレージを簡便に使えるようになった昨今の状況を考えると、（ロックインされる問題を無視すれば）それがいちばん便利、という場面も多いです。