APIレスポンスの永続化

Question

あるAPIに対して期間を設定してリクエストを行うと、それぞれの期間の情報が取得できるのですが、過去の情報を保存しようと思っています。

結果はjsonで帰ってくるのですが、リクエスト日や対象の期間は含まれていません。

そのままデータをファイルに保存しようとしたところ、10分以上もかかってしまったため、他の方法を考えているのですが、データを加工してリレーショナルDBに保存するか、NoSQLのDBに保存するのはどちらが適しているのでしょうか、この作業は月に１回だけ行い、過去のデータは変更されないので、更新はありません、新規の追加だけです。
複数で同時にアクセスもありません。SqliteやTinyDBを想定しています。

追記

データを永続化しようとしている理由は同一のサーバーで他のコードを走らせる必要があり、処理が短く終わるようにしたい。短くなると考えているのは今は一年分のデータを取得するのに12回リクエストをしないといけないのですが、過去のデータは変わらないので保存できれば新規の今月分だけで済むと考えているからです。

Comments

[mit0223]

「そのままデータをファイルに保存しようとしたところ、10分以上もかかってしまったため、他の方法を考えている」とありますが、問題点は保存に時間がかかることでしょうか？それであれば、データベースに格納しても保存時間が短くなるとはかぎりません。また、月に1回なら10分かかってもいいようにも思えます。解決したい問題点を具体的に提示してもらえますか？

Answer 1

データを月や日ごとにリクエストして、その月や日ごとのファイルなどに保存し、ファイルが存在しない月や日に対してリクエストするのがよいかと思います。