ファイル名にはインデックスは効いているのでしょうか？

Question

###お尋ねしたいこと
画像ファイルをサーバーに保存するとき
img1.jpg
img2.jpg
img3.jpg
などのファイル名がつきますよね。

こういった「ディレクトリのファイル名」には、「SQLのレコード」でいうインデックスのような機能はあるのでしょうか？

###懸念点
「SQLのレコード」であれば上のようなファイル名が何件あってもインデックスによって瞬時に取得されますが、「ディレクトリのファイル名」にもしそういった機能がなかったら、フルスキャンすることになりますよね？

例えばHTMLで
<img src="htttp://example.com/images/img1.jpg">
と画像を呼ぼうとしたときに大量の画像ファイルがサーバーにあったら、フルスキャンしていたらずいぶん時間がかかってしまうと思うのです。

その場合、どういった対策が有効でしょうか？

###考えた対策
ユーザーがアップした画像をimagesというディレクトリにすべてまとめて入れず、ユーザーごとのディレクトリを作ることで、少しは緩和できるかと考えたのですが、ほかに何かいい方法ございますか？

下記の、2つ目の構造として、
<img src="htttp://example.com/images/user1/img1.jpg">
のように呼び出すという対策です。

images/
　├ img1.jpg
　├ img2.jpg
　├ img3.jpg

images/
　├ user1/
　│　├ img1.jpg/
　│　└ img3.jpg/
　├ user2/
　│　└ img2.jpg/

よろしくお願いいたします。

Comments

[m.ts10806]

SQLとファイルとどういう関係なのでしょうか。
タグと本件が関係ないと思います。
あと「Grep」ってご存知ですか？

[maisumakun]

ファイルシステムは何でしょうか？

[nazo]

タグは何がいいですか？すみませんGrep調べてもよくわからないです。

[nazo]

すみませんファイルシステムとはなんでしょうか？Xサーバーなのですが、調べると「ファイルマネージャー」というのがあるようでして（https://www.xserver.ne.jp/functions/）、これでしょうか？

[m.ts10806]

>タグは何がいいですか？
OSやシステム次第です。どういう環境でのファイル検索を意図しているのか。
「ファイル」とかありますが、自身の環境にあわせて探してください。

>すみませんGrep調べてもよくわからないです。
https://ja.wikipedia.org/wiki/Grep
>grep（グレップ、グレプ）は、UNIXおよびUnixオペレーティングシステムにおけるコマンド。テキストファイル中から、正規表現に一致する行を検索して出力する。

WindowsでもエディタによってはGrep機能を備えたエディタもあります。
https://sakura-editor.github.io/help/HLP000067.html

[nazo]

なるほど、「ファイル」追加しておきました。Grep今回はあれですが、別件で使えそうです。ありがとうございます。

Answer 1

自分だったら、DBに、検索できるようにファイル名やアップロード者のID等や日時等を保存します。

Comments

[kyoya0819]

おそらくデフォルトでは無いと思います。
（サーバーのコマンドで使える場合もあるけど、あんまりなぁって感じです。

[nazo]

たしかに「日付/ユーザー名/ファイル名」で行こうと思います。デフォルトではないのですね。知れてよかったです。ありがとうございます。

Answer 2

最近のファイルシステムは知りませんが、プログラムから見えるディレクトリ構造体にインデックスは無いです（ファイルシステムが裏でうまくやってくれている可能性はある）。
参考：man 3 readdir
ファイル数が多いと時間が掛かるのは確かです。

見かけるのは、
/imgs/a/aeoadjoajeoia.jpg
/imgs/x/xdskjajkxpazx.jpg
みたいにインデックスとなる階層を設けること。もちろん均等になるように。
1ディレクトリ数千くらいならいいのでは。何十万とかならさらに階層を増やす。

Comments

[nazo]

悩みますが、順番としては「日付/ユーザー名/ファイル名」が良さそうですね。ありがとうございす。

Answer 3

「ディレクトリのファイル名」にもしそういった機能がなかったら、フルスキャンすることになりますよね？

実際に、「1つのディレクトリにファイルを置きすぎると検索に時間がかかる」という状況は存在して、対策のためにある程度ディレクトリ分けすることもあります。

Comments

[nazo]

環境によりけりでしょうけれど、10万件くらいなら…ギリでしょうか。

Answer 4

ファイルシステムによるとしか言えないですね。
実際ファイルはセクタが別れてバラバラに置かれていたりするので
物理的にシークするのに時間がかかったりもします

Comments

[yambejp]

実際unix系のOSのどこにあるかわからないときに使うfindとかは
ディレクトリルートで検索をはじめるとべらぼうに時間かかりますから・・・

[nazo]

ファイルシステムというのがよくわからないです。Xサーバーを利用しておりまして、調べてみるとこちら（https://www.xserver.ne.jp/support/faq/faq_service_server.php）によれば

＞サーバーのOSには Linux を採用しています。
＞ディストリビューションなどの詳細については非公開としております。

とありました。
これはファイルシステムは非公開だということなのでしょうか？

[nazo]

でも<img src="">で画像ファイルを探すというのはよくある機能だと思うのですけど、みなさんどうしているのでしょうか？