質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

API

APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。

Q&A

解決済

1回答

3812閲覧

webapiで大量データの取得方法

nk0628

総合スコア9

Webサイト

一つのドメイン上に存在するWebページの集合体をWebサイトと呼びます。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

API

APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。

0グッド

1クリップ

投稿2019/04/13 13:19

webapiで一回のリクエストに対してデータ取得数が上限500件のapiがあります。
それに対して5万件程度のデータを取得する場合の方法に悩んでおります。
100回ループするしかないのでしょうか?
この場合、処理時間など実現可能なのか色々不安点があります。

ベストプラクティスが分からないので、教えて頂きたいです。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

回答

100回ループするしかないのでしょうか?

100回ループするしかないです。

補足

100回を並列で投げれば処理時間は短縮できる可能性が高いです。
API側はその分負荷が上がるので、それが許容されるかどうかは利用規約やAPI側のサポートとの調整が必要でしょうね。

そもそも100回ループしなければならないような使い方は、API提供側の使用想定から外れてるんじゃないかなと言う気もしますので、一回のデータ数のみでは無く時間当たりのリクエスト許容数等も確認した方が良いんじゃないかとは思います。

投稿2019/04/13 13:40

tanat

総合スコア18713

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

nk0628

2019/04/13 13:55

ご回答ありがとうございます。 やはりそれしかないのですね。 確かに時間あたりの制限もドキュメントには10回/秒とありますので、 並列で処理を行う場合もある程度制限はあります。 100回ループするやり方は私自身もあまり想定できない部分が多くやりたくなかったのですが、 現状はそれ以外に大量データ連携方法が考えられず何かあれば・・・という思いで、質問させて頂きました。 ありがとうございました。
tanat

2019/04/13 17:11

データの取得自体は100回行うしかありませんが、 - データの取得をキューで管理してバックグラウンドで非同期で行わせたり - データの保存を毎回DBに保存するのではなくて一旦ファイルで保存しておいて、一回のループの時間を短くする 等、 ループとその前後の処理を分解して行って「想定できない部分」を減らしていくというのが真っ当なアプローチ化と思いますよ。
nk0628

2019/04/14 08:48

tanat様 ありがとうございます。 色々と勉強になりました。 おっしゃられている通り、想定できない部分を減らしていく方針で 進めていこうと思います。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問