データベースの不要なリクエストを節約したい。

Question

#概要
商品一覧を表示するサイトを開発しております。
ページを表示するたびにデータベースから、1度に1000件以上の商品データを取得しております。
データベースはDynamoDBを使用しており、従量課金なので、ロード回数やデータ量を節約したいと考えております。

#仕様
商品一覧ページで表示されるのは新着順の上位30件だけです。
データの取得、ソート、加工を全てフロントエンド（React）で行っております。

#質問
1)
データベースのリソース節約の為のアイデアを教えて頂けないでしょうか、ざっくりで大丈夫ですのでアイデアを頂ければ幸いです。

データベースの不要なロードを抑える為に、Redisにデータをキャッシュさせる方法は良い方法と言えるのでしょうか。

商品一覧ページで表示されるのは新着順の上位30件だけですので、ページを進めた場合や、ソートを行ったときに動的に残りのデータを読み込めれば、不要なロードは防げるのではないかと思います。
この場合、フロントエンドだけでは対処は難しいでしょうか？
やはりデータを出力しているバックエンド(Lambda)で対処すべきでしょうか？

宜しくお願い致します。

Comments

[Kenji.Noguchi]

find().limit(30)とかskip()とか？RedisはAWSのElastiCache?ブラウザ側のローカルストーレジを使う方法もあるのでは？

Answer 1

ページを表示するたびにデータベースから、1度に1000件以上の商品データを取得しております。

この記述を見ていると、おそらく裏でフルスキャンをしているのではないか、、、？と思いました。以下、そのつもりで私が思ったことを回答します（前提が違ってたらすみません）。

基本的なスタンスとしては、バックエンドの設計問題として対処する問題なのかなという印象を持っています。テーブル設計がクエリ要件に適合していない構造であるようにお見受けいたしました。そのため、キャッシュは根本的な問題の是正にはなりえないのではないかと思います。

---

DynamoDB のインデックスは一度構築した後では基本的にほぼ変更不可なので、今のスキーマを維持しながら改善するのであれば、クエリ要件に適したGSIを付け足すか（可能ならば）、あるいはCQRSパターンを使ってクエリ要件に適した構造の別テーブルを定義するかだと思います。

CQRSの内容については検索してお調べいただければと思いますが、 DynamoDB であれは例えば DynamoDB Streams を使って新規構築したクエリ用の別テーブルに再編成したアイテムを格納するとかのアプローチを採ることになります。

※CQRSを採用する場合、最新データのリアルタイムな反映はできず結果整合なクエリになってしまいますが、商品検索のユースケースなら必ずしもシビアなリアルタイム性が要求されるわけじゃないと思ってます。なので、最新データの反映に多少の遅延を許容できるならCQRSは検討余地があります。

具体的にどう、という話は今のデータ構造やクエリ要件次第なので指摘が難しいですが、GSIなどでインデックスに指定したキー属性を用いてクエリできる構造になっていればLimitが適切に効くので、クエリ要件に適合したインデックスを持たせるようにGSIを構成する、もしくはそれ用のテーブルを作るなどするのが良いかと思います。

※課金を気にしての質問であれば、もしかすると却って高つくかもしれません（さすがにフルスキャン多用の状況と比較するなら、お釣りが来るくらいには改善するだろうと思いますが...）。

Comments

[hassaku_63]

追記：設計や実装に依存しますが、もしかするとNextTokenを使ってバックエンド側をページネーション対応にすることで多少はクエリを投げる本数を減らせるかもしれませんね。

参考になりそうな記事を書いている方がいらっしゃるのでリンクを紹介いたします。
https://www.playfulit.net/articles/2019/06/22/investigate-dynamodb-nexttoken-pagination/