質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
Amazon DynamoDB

Amazon DynamoDBは、 AWS上のNoSQLデータベースサービスです。フルマネージド型のサービスで、スキーマレス、高速且つ安定性のある動作、自動的に容量を変更する自動スケーリングなどの特徴を持ちます。

受付中

DynamoDBに大量のデータを効率よくINSERTしたい

退会済みユーザー

退会済みユーザー

総合スコア0

Amazon DynamoDB

Amazon DynamoDBは、 AWS上のNoSQLデータベースサービスです。フルマネージド型のサービスで、スキーマレス、高速且つ安定性のある動作、自動的に容量を変更する自動スケーリングなどの特徴を持ちます。

1回答

0評価

0クリップ

4954閲覧

投稿2019/12/12 20:36

詳細

AWS DynamoDBにピーク時2000レコード/秒の書き込みを想定しています。

大量データを一括で書き込む場合にはBatchWriteItemを使用して書き込むとドキュメントは記載しています。

BatchWriteItem オペレーションには最大 25 の個々の PutItem リクエストと DeleteItem リクエストを含むことができ、最大 16 MB のデータを書き込めます。

しかしドキュメントに記載しているように1回のAPIコールで書き込める最大件数は25件ならば、2000レコードを書き込もうとすると80回もAPIをコールしなければなりません。

試してみたこと

まさかたった2000件を書き込むためにこんなことをしないといけないというのはあり得ないと思い、実際に試してみました。

テーブルはチュートリアルのMusicテーブルです。

ruby

client = ::Aws::DynamoDB::Client.new items = (1..100).map do |n| { put_request: { item: { Artist: "すずき", SongTitle: "みんなのうた part#{n}" } } } end client.batch_write_item( request_items: { 'Music' => items })
[6] pry(main)> client.batch_write_item( request_items: { 'Music' => items }) Aws::DynamoDB::Errors::ValidationException: 1 validation error detected: Value '{Music=[WriteRequest(putRequest=PutRequest(item={Artist=AttributeValue(s=すずき, n=null, b=null, sS=null, nS=null, bS=null, m=null, l=null, nULL=null, bOOL=null), SongTitle=AttributeValue(s=みんなのうた part1, n=null, b=null, sS=null, nS=null, bS=null, m=null, l=null, nULL=null, bOOL=null)}), deleteRequest=null), ............... ]}' at 'requestItems' failed to satisfy constraint: Map value must satisfy constraint: [Member must have length less than or equal to 25, Member must have length greater than or equal to 1]

すると上記のようにエラーが発生し、確かに25件が上限だということが確認できました。

知りたいこと

2000件のレコードをINSERTのに80回APIをたたく以外の方法がないというのはあり得ないはずなので、
単純に私が何か見落としているだけだと思っています。

2000件のレコードを効率よくINSERTするためにはどのようにすればいいのでしょうか。

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Amazon DynamoDB

Amazon DynamoDBは、 AWS上のNoSQLデータベースサービスです。フルマネージド型のサービスで、スキーマレス、高速且つ安定性のある動作、自動的に容量を変更する自動スケーリングなどの特徴を持ちます。