webapiで大量データの取得方法

Question

webapiで一回のリクエストに対してデータ取得数が上限５００件のapiがあります。
それに対して５万件程度のデータを取得する場合の方法に悩んでおります。
１００回ループするしかないのでしょうか？
この場合、処理時間など実現可能なのか色々不安点があります。

ベストプラクティスが分からないので、教えて頂きたいです。

Answer 1

回答

１００回ループするしかないのでしょうか？

100回ループするしかないです。

補足

100回を並列で投げれば処理時間は短縮できる可能性が高いです。
API側はその分負荷が上がるので、それが許容されるかどうかは利用規約やAPI側のサポートとの調整が必要でしょうね。

そもそも100回ループしなければならないような使い方は、API提供側の使用想定から外れてるんじゃないかなと言う気もしますので、一回のデータ数のみでは無く時間当たりのリクエスト許容数等も確認した方が良いんじゃないかとは思います。

Comments

[nk0628]

ご回答ありがとうございます。
やはりそれしかないのですね。
確かに時間あたりの制限もドキュメントには10回/秒とありますので、
並列で処理を行う場合もある程度制限はあります。
100回ループするやり方は私自身もあまり想定できない部分が多くやりたくなかったのですが、
現状はそれ以外に大量データ連携方法が考えられず何かあれば・・・という思いで、質問させて頂きました。
ありがとうございました。

[tanat]

データの取得自体は100回行うしかありませんが、
- データの取得をキューで管理してバックグラウンドで非同期で行わせたり
- データの保存を毎回DBに保存するのではなくて一旦ファイルで保存しておいて、一回のループの時間を短くする
等、
ループとその前後の処理を分解して行って「想定できない部分」を減らしていくというのが真っ当なアプローチ化と思いますよ。

[nk0628]

tanat様
ありがとうございます。
色々と勉強になりました。
おっしゃられている通り、想定できない部分を減らしていく方針で
進めていこうと思います。