Q&A
memcachedはインメモリのRDBMSではありません。
memchachedのようなキャッシュサーバを使う場面についての質問です。
キャッシュサーバは、データベースへの問い合わせ結果をキャッシュとしてメモリ上に保存しておきたい時に使いますよね？
でも例えばphpアプリケーションを作っているとして、サーバ上で動いているphpのプロセスが一つしかなくて、メモリの容量もデータベースの容量と同じくらいの場合は、わざわざキャッシュサーバを使わなくても、osが勝手にメモリ上にキャッシュしておいてくれるから、キャッシュサーバは必要ないのかなと思ったのですがどうでしょうか？
逆にfastCGIとかを使っていて、そのサーバーで複数のphpプロセスが動作するようになっている場合は、一つのプロセスが使えるメモリの量が減って、データベースのデータがキャッシュに乗る量も減り、複数のプロセスが同じデータをキャッシュすることも発生するから、キャッシュサーバを使って複数プロセスでキャッシュを共有する必要が出てくるのかなと思ったのですがどうでしょうか？
認識が間違っていたら教えて頂けると幸いです????♂️
回答3件
0
キャッシュサーバは、データベースへの問い合わせ結果をキャッシュとしてメモリ上に保存しておきたい時に使いますよね？
メモリにキャッシュしたい時に使います
サーバ上で動いているphpのプロセスが一つしかなくて、メモリの容量もデータベースの容量と同じくらいの場合は、わざわざキャッシュサーバを使わなくても、osが勝手にメモリ上にキャッシュしておいてくれるから、キャッシュサーバは必要ないのかなと思ったのですがどうでしょうか？
OSのキャッシュは全く目的が違います
それはphpから見てもDBから見ても都合良く保存しておいてくれるタイプのキャッシュではありません
そのサーバーで複数のphpプロセスが動作するようになっている場合は、一つのプロセスが使えるメモリの量が減って
確かに減りはしますが、プロセスが常にMAXのメモリ容量を確保し続ける訳じゃないので微々たるものです
全く気にする必要はありません
投稿2021/07/17 09:55
総合スコア6426
0
自己解決
この記事によると、ただosの既存の機能でメモリにキャッシュするのと、インメモリデータベースでは、性能にかなりの違いがあるそうですキャッシュの大きいRDB vs インメモリデータベース、性能がどれだけ違うのか調べてみると
追記
結論
おそらく、プロセスが一つだろうと複数だろうとメモリ上にキャッシュされるディスクの量は変わらないものと思われます。
理由
「大規模サービス技術入門」という本に、データベースサーバを立ち上げて、しばらくするとメモリ上にデータベースのデータがキャッシュされて、システムが高速化されると書かれています。
じゃあメモリ上のどこにディスクデータが保存されるかというと、おそらくこのディスクキャッシュ上に保存されるのだと思います。ディスクキャッシュ
自分は各プロセスが持つメモリ上の領域に、毎回ディスクデータを読み込んでくるのかと当初は思っていて、今回の質問をしたのですが、良く考えると各プロセスが独自にディスクのデータをキャッシュしていたら、そのプロセスが終了した時点で、そのキャッシュもクリアされるので、永遠にキャッシュが最適化されることは起こり得ないですね。
追記
file base cache で検索
https://stackoverflow.com/questions/3148076/which-is-faster-better-for-caching-file-system-or-memcached
投稿2021/07/17 09:20
編集2021/09/10 07:16
総合スコア37
> メモリ上のどこにディスクデータが保存されるかというと、おそらくこのディスクキャッシュ上に保存されるのだと思います。
OSがディスクのデータに対して持つメモリキャッシュと、RDBMSが持つキャッシュは、また別個のものです。
「大規模サービス技術入門」ではosが持つキャッシュについての話をしているものと思われます。
その前提のもとで、僕の説明におかしな点はありますでしょうか？
> 大規模サービス技術入門」ではosが持つキャッシュについての話をしているものと思われます。
どうしてそう判断しましたか？
章のタイトルが「OSのキャッシュと分散」ですし、「OSがメモリの空いているところにどんどんディスクをキャッシュしていく」というようにOSが主語の記述は随所にあるものの、「RDBMSがキャッシュする」のような記述は一つも見当たらないからです。
書いてもらえないとそれはわからないです。
「メモリ上のどこにディスクデータが保存されるかというと、おそらくこのディスクキャッシュ上に保存される」はあくまで、本の内容から僕が推測した答えであって、本の中には明示されていないんですよね。ごめんなさい。
とはいえ、本の中でデータベースからデータを読み込んだ後に、「sar -r コマンド」を実行すると「kbcached」の値が一気に増えることが紹介されているので、データベースのデータがメモリ上にキャッシュとして保存されるのは間違いないと思われるのですが、、、
https://qiita.com/kunihirotanaka/items/70d43d48757aea79de2d
> 「RDBMSがキャッシュする」のような記述は一つも見当たらないからです。
記述はないですが、RDBMS自体もキャッシュを行います。現実のメモリ消費や動作速度を考える上で、OSのディスクキャッシュ「だけ」考えても意味はありません。
確かにbuffer-poolやクエリキャッシュなどが存在しますね。
ですがそれがosのディスクキャッシュとどのように相互作用し、どのように違うのか明確に書かれているものは、ちょっと見つけられなかったので、実装を読むしかなさそうですね。。。。https://www.postgresql.jp/document/9.1/html/runtime-config-resource.html
ありがとうございます。
0
キャッシュサーバは、データベースへの問い合わせ結果をキャッシュとしてメモリ上に保存しておきたい時に使いますよね？
それだけとは限りません。セッションデータのような、データベースに永続させる必要がない種類のデータを置くのにも使います。
投稿2021/07/17 09:15
総合スコア146018
そのことはもちろん知っています。
今回の質問はデータベースのキャッシュとして使う場面でのメリットについての質問です。
> そのことはもちろん知っています。
知っていたことを質問から読み取れなかったので、コメントせざるを得ませんでした。
説明不足ですいません。
むしろ、実アプリケーションでRDBから引いた「そのまま」のデータを、積極的にmemcachedへキャッシュさせることがまれです。
memcachedで構築するキャッシュに置くようなデータは、ORMへの変換、集計処理、さらには出力に適した形への整形など、プログラムサイドで何かしらの加工を行うことが多いです。
また最初の質問に戻るのですが、一つのプロセスしか存在しない場合と、複数のプロセスが存在する場合でメモリ上におけるキャッシュはどのように違うのでしょうか？例えばこれによると、複数のスレッドが同じテーブルにアクセスした場合、スレッドごとに別々にデータを読み込むといったことが書かれており、こっちの方がメモリの使用量は増えるが、パフォーマンスが向上すると書かれています。何故なのかお分かりになりますでしょうか？
http://download.nust.na/pub6/mysql/doc/refman/5.1-olh/ja/table-cache.html
色々と分かりにくい説明をしてしまい申し訳ありませんでした????♂️
自己解決欄に追記をしたのですが、こちらの説明があっているか確認をお願いしてもよろしいでしょうか？
> メモリ上におけるキャッシュはどのように違うのでしょうか？
「どの主体（OS、memcached、DBサーバなど）」が「何」について行うメモリキャッシュの話でしょうか？
すいません、この質問は今思うと的外れなものだったので無視していただけますと幸いです。
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2021/07/17 10:34
2021/07/17 10:45
2021/07/17 10:49
2021/07/17 11:20
2021/07/17 12:10
2021/07/17 12:16
2021/07/17 12:46
2021/07/17 12:53 編集
2021/07/17 12:55
2021/07/17 13:01
2021/07/17 16:26
2021/07/18 01:30