AWS SDK Python クライアントエラー対処方法を探しています

Question

#知りたいこと

AWS Lambda（python3.7）で、RDSのバックアップを取得する方法をとっています。
こちら、pythonモジュールのboto3を使用し、スナップショットを取得するようにしています。
頻発にエラーが発生してしまうので、調査をしている段階です。

Cloudwatch上には、以下のエラーが出力されています。

[ERROR] ClientError: An error occurred (Throttling) when calling the DescribeDBSnapshots operation (reached max retries: 4): Rate exceeded
Traceback (most recent call last):
  File "/var/task/lambda_function.py", line 199, in lambda_handler
    id['id'], int(id['backup-generation']))
  File "/var/task/lambda_function.py", line 100, in delete_snapshots
    snapshots = get_snapshots(prefix, instance_id)
  File "/var/task/lambda_function.py", line 127, in get_snapshots
    all_snapshots = rds_client.describe_db_snapshots()
  File "/var/runtime/botocore/client.py", line 316, in _api_call
    return self._make_api_call(operation_name, kwargs)
  File "/var/runtime/botocore/client.py", line 626, in _make_api_call
    raise error_class(parsed_response, operation_name)

SDKのクライアントエラーとなっています。

クライアントエラー発生時に、リトライ処理を実装したいのですが、
あまり知識がなく何か良い方法などお持ちの方いらっしゃいましたら、ご教授いただけると幸いです。

よろしくお願いします。

Answer 1

Rate exceeded

なので、AWSのAPIの制限に引っかかってるんじゃないでしょうか。
短時間にAPIコールをしすぎなんでしょう。
どういう実装にして、どのようにして動かしているのでしょう？

一応Exponential backoffが回避方法として挙げられます。

この質問と直接関係のない素朴な疑問なのですが、RDSのスナップショットをLambdaを使って自動化している目的は何でしょう？

Comments

[Boccham]

ご回答ありがとうございます。
APIの呼び出しは、大量に行なっていることにあります。
特定タグ「Backup」に対して、バックアップを保持する世代の数字をValueに入れることで、バックアップ処理をしています。トリガーは、Cloudwatch Eventのcronにより、早朝にLambada実行する仕組みになっています。

リンク先の方法で対処してみます。
ありがとうございます。

素朴な疑問に関してですが、
手動でのRDS削除回避に伴う、バックアップと聞いています。
デフォルトで、バックアップできることは知っていますが、このような運用を現在もしているのが現状となっています。

[yu_1985]

1日1回のバックアップでよければわざわざ作らなくても…と思ったんですが、まあ柔軟ではないのでしょうがないですかね。

ちなみに、AuroraでないRDSであればAWS Backupを使えば恐らく求めることは実装なしで可能なのでご参考までに。
https://dev.classmethod.jp/articles/rds-aws-backup/

[Boccham]

情報ありがとうございます。
AWS Backupでも検討進めてみます。