詳細

AWS DynamoDBにピーク時2000レコード/秒の書き込みを想定しています。

大量データを一括で書き込む場合にはBatchWriteItemを使用して書き込むとドキュメントは記載しています。

BatchWriteItem オペレーションには最大 25 の個々の PutItem リクエストと DeleteItem リクエストを含むことができ、最大 16 MB のデータを書き込めます。

しかしドキュメントに記載しているように1回のAPIコールで書き込める最大件数は25件ならば、2000レコードを書き込もうとすると80回もAPIをコールしなければなりません。

試してみたこと

まさかたった2000件を書き込むためにこんなことをしないといけないというのはあり得ないと思い、実際に試してみました。

テーブルはチュートリアルのMusicテーブルです。

ruby
1client = ::Aws::DynamoDB::Client.new
2items = (1..100).map do |n|
3  { put_request: { item: { Artist: "すずき", SongTitle: "みんなのうた part#{n}" } } }
4end
5client.batch_write_item( request_items: { 'Music' => items })

[6] pry(main)> client.batch_write_item( request_items: { 'Music' => items })
Aws::DynamoDB::Errors::ValidationException: 1 validation error detected: Value '{Music=[WriteRequest(putRequest=PutRequest(item={Artist=AttributeValue(s=すずき, n=null, b=null, sS=null, nS=null, bS=null, m=null,
 l=null, nULL=null, bOOL=null), SongTitle=AttributeValue(s=みんなのうた part1, n=null, b=null, sS=null, nS=null, bS=null, m=null, l=null, nULL=null, bOOL=null)}), deleteRequest=null), 
...............
]}' at 'requestItems' failed to satisfy constraint: Map value must satisfy constraint: [Member must have length less than or equal to 25, Member must have length greater than or equal to 1]

すると上記のようにエラーが発生し、確かに25件が上限だということが確認できました。