AWSのdynamodbでプロビジョニングされたキャパシティを超過し、データベースに反映されなかった場合についてです。

Question

現在アプリの開発中で自分しかデータベースに書き込んだりするユーザはいない状況です。
Dynamodbでプロビジョニングされたキャパシティーを超えたらしく、書き込んだと思ったレコードが書き込めていませんでした。しかし時間が経って確認したところ、レコードの量が増えていて送れなかったと思った分が送られていた様でした。

キャパを超えた場合はリアルタイムに送られないだけで後から送られるのでしょうか？

また、例えば１００件のレコードを送る事を考えた時、一度に100件送るのと時間を分けて少しずつ送るのではどのような違いがあるでしょうか？100件一度に送ってキャパシティを超えるような場合でも分けて送れば、リクエストの回数は同じですが、１秒に送るデータ量は減るわけなのでキャパ越える可能性も低くなりますよね？

Answer 1

プロビジョニングされているスループットを超過した場合、
JDKをお使いであれば例外ProvisionedThroughputExceededExceptionが発生します。
この例外が発生した場合は書き込みに失敗していますので、失敗したデータについては時間をおいて再度書き込みを行う必要があります。
自動で後から送られる事はありません。必要であればそのように実装してください。

また、例えば１００件のレコードを送る事を考えた時、一度に100件送るのと時間を分けて少しずつ送るのではどのような違いがあるでしょうか？

記載通りの違いしかありません。
プログラムは記載したとおりに動作します。

100件一度に送ってキャパシティを超えるような場合でも分けて送れば、リクエストの回数は同じですが、１秒に送るデータ量は減るわけなのでキャパ越える可能性も低くなりますよね？

分けて送る場合はリクエストの回数がその分増加します。
可能性という問題ではなく、スループットを超過した場合は書き込みに失敗するので、それを救済する実装が必要になります。

書き込みできなくて困るデータの場合は、DynamoDBへの書き込みに失敗した時にSQSに入れ、SQSにそのデータが来たときはDynamoDBに書き込んで上げるような仕組みで実装するなどしておけば楽だと思います。

Comments

[Hayato1201]

他の質問にもまとめて回答していただいて大変助かります。ありがとうございます。
分けて送る場合はリクエストの回数がその分増加との事ですが、自分の場合Swiftでアプリを作っているので以下のチュートリアルに沿って行なっているのですが、
https://docs.aws.amazon.com/ja_jp/aws-mobile/latest/developerguide/tutorial-ios-aws-mobile-notes-data.html
ここにある1レコード書き込む方法をfor文で100回したら100回リクエストが送られるということではないのでしょうか？ですので、例えば50回して１日後にまた50回すといった事とリクエストの合計が同じかと思ったのですがそういう事ではないのでしょうか？

[moonphase]

リクエストの合計の数は100回を1日で行うか、５０回を２日行うかであればおっしゃる通りリクエストの合計は同じです。その違いしかありません。

ご質問では、結局キャパ内でうまくいったのか、キャパ超えて失敗したような気がしたけど書かれてたのかよくわからない、どうなってるんだ？って事でしょうか。
そこを判断したいのであれば、CloudWatchにてキャパシティを超えた場合に通知するよう構成することで知ることができます。
以下の公式ドキュメントを参照していただければもやもやしていることが解決するかもしれません。
https://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developerguide/creating-alarms.html

[Hayato1201]

返信していただき有難うございました！