Q&A
質問の説明ではフロントエンドでCSVをどのように扱いたいのかが見えません。
いったんはSPAのことは質問から外してどのようなAPIにすべきかだけにした方が回答しやすいです。
CSVをAPI側に送ったり受け取ったり出来るAPIなら話は簡単でAPIサーバーは受け取ったCSVをファイルに保存して要求されたらそれを返せば良いだけ。
あとはどんなキー設計するかファイル保存をデータベースに置き換えるか、データ内容に他に操作が必要なのか、検索機能が必要なのかそういった要求をもっと具体的に書くと良いでしょう。
CSVを処理するAPI設計について
CSVの中身を入れ替えたり文字から数値に変換したりといったSPA+APIを構築しようとしているのですが、
どの言語でどのように実装すべきか悩んでいます。
悩んでいるのは特に下記の3点です
- 言語
- CSVの取り扱い
- DB
言語について
言語は今のところTypescriptを使ってNestjsなどで対応しようかなと思っているのですが、
Pythonの計算用ライブラリやGoを使って早く処理した方がいいのではないか？とも思っております。
※Typescrptが得意な言語なため。それ以外の理由はないです。
CSVの取り扱いについて(送信、受信について)
フロントはSPAでCSVがAPIに送られます。
CSVデータをAPIに送る場合、中身を取り出して文字列として送ってしまうのか、
もしくはS3などに保存してURLを送って処理をさせるのか？
どのような方法が良いのか定まっておりません。
DBについて
基本的にはデータを全てDBに格納しておいて、
リクエストがあれな返すことを検討しております。
通常のREST APIであればMySQLやpostgresなどで良いかと思いますが、
ドキュメント形式なのでMongoとかでもいいのでは？とも考えております。
主に設計についての話ですが上記３点についてご教授願います。
また、今のところCSVの行数は1万行をマックスに考えておりますが、
10万行とかになる場合の対処方法やスケール方法についてもアドバイスいただけますと幸いです????♂️
データ内容操作や検索が不要なら指摘の通りS3がベストかもしれません。
回答1件
0
ベストアンサー
CSVファイルの内容に対する操作要求がないものとして回答します。
オススメの案は二つ
- SPAからS3に直接アクセスしてCSVファイルをS3に保存と読み出しを行う
- 上記のフローをAPIサーバーで中継する。
1.であれば、「spa s3 cognito」と言った単語で検索してみましょう。
フロントエンドだけでファイルをS3に保存したり読み出したりしている事例が見つかるでしょう。
2.の場合、以下のようなフローでS3にCSVファイルをアップロード＆ダウンロードできるAPIサーバーはどうでしょうか。
（どちらかと言うとS３APIの中継サーバー）
ファイルのアップロード(ReqにCSVコンテンツ)
- Req:frontend--->API-server--->S3
- Res:frontend<---API-server<---S3
ファイルのダウンロード(ResにCSVコンテンツ)
- Req:frontend--->API-server--->S3
- Res:frontend<---API-server<---S3
S3を利用するメリット
- CSV内容に触れないならデータベースを利用する場合に比べ高効率。
- ファイル（S3オブジェクト）単位で整合性を担保してくれる（ローカルファイルシステムの場合、書き込み終わるまで古いファイルをアクセス可能に保つなどが必要）
- 巨大なファイルも扱える設計になっている（最大５TB）
- ドキュメントDBに比べてシンプルな構造で堅牢
中継するメリット
- CSV保存と読み出し以外の機能が必要になった時に拡張しやすい。
- 認証機構やSPAコンテンツのサーブを統合しやすい（単一のOriginからサーブしやすい）
- S3の詳細を隠蔽できるので、要件次第でS3を他のものに置き換えることができる。（minioというS3互換サーバーというのもある）
投稿2020/05/05 23:16
編集2020/05/05 23:22総合スコア3367
ちなみに、1.だとサーバーレスでスケールするし、2.もAPIサーバーを複数立ち上げ手前にロードバランサーをおけばスケールします。
ご回答頂いたにもかかわらずご連絡が遅れてしましまして大変申し訳ございませんでした????♂️
ファイル操作も入りますので、2番の方で進んでいくことに決定いたしました。
あまり知識経験がない分野でしたので、とても参考になりました。
本当にありがとうございます！！！
あなたの回答
tips
プレビュー
