APIのスロットリング制限を適切に対処する方法を教えて下さい。

Question

#概要
200件の商品データがあり、それをAPIへPOSTします。APIの仕様上、商品は1件ずつしか登録できないため、200回ポストを行います。
しかし、APIに下記のようなスロットリング制限を設けており、POSTを連打することはできません。

• 最大リクエストクォータ：40リクエスト
• 回復レート：2商品/1秒

詳細

#現状
現状下記のように、POSTしたあと、待機処理して確実にポスト出来るようにしています。

for(let product of products_data){
 await post_product(product);
 await sleep(1000) // ms
}

#質問
APIのスロットリング制限化で最大限ポストを行いたいです。
一般的に、このようなスロットリング制限があるAPIにはどのように対処すべきでしょうか、上記のような待機処理あまり良い方法には思えません。。。
何かもっと良い方法で、APIのスロットリング制限化でを対処する方法はないでしょうか？

Answer 1

質問に記載されている URL に

Rate limits header

You can check how many requests you’ve already made using the Shopify X-Shopify-Shop-Api-Call-Limit header that was sent in response to your API request.

X-Shopify-Shop-Api-Call-Limit: 32/40

In this example, 32 is the current request count and 40 is the bucket size. The request count decreases according to the leak rate over time. For example, if the header displays 39/40 requests, then after a wait period of ten seconds, the header displays 19/40 requests.

と書かれているので...

API のレスポンスで X-Shopify-Shop-Api-Call-Limit: 32/40 のような利用回数がレスポンスヘッダで返ってくるようなので、このレスポンスヘッダの値が、40 を超えないように回数を管理して、40 未満なら 40 になるまでアクセスして、40 になったら、wait をいれて待機とすれば、上限ギリギリでアクセスを繰り返せるのではないでしょうか。

Comments

[yuki_90453]

ご回答ありがとうございます。
参考になります。

結局、商品総数 / Limit(40件)で割り、
40件をPromise.allで並列実行し、その後待機処置で20秒待ってという、またpromise.allという形が1番早そうなのでこの方法にしました。