質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
バッチファイル

バッチファイル(Batch File)は、Windowsのコマンドラインインタープリターによって複数のコマンドを実行させる事が出来るスクリプトファイルです。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

Q&A

2回答

1708閲覧

数分おきに、特定のデータをDBに反映させる処理について

techtack

総合スコア11

バッチファイル

バッチファイル(Batch File)は、Windowsのコマンドラインインタープリターによって複数のコマンドを実行させる事が出来るスクリプトファイルです。

AWS(Amazon Web Services)

Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

1グッド

1クリップ

投稿2016/03/08 00:58

あるサイトから提供されている情報取得APIを利用して、3~5分おきなどの周期的に、
取得内容をDBに登録する処理をしたいと思っています。

この取得データについては、現段階では数万件ほどを想定していますが、今後増えていく場合を想定して作りたいと思っています。

データ取得&格納バッチを一つだけ実行して全件を処理しようとすると、
5分以内に収まらない事を懸念しているため、
複数バッチを起動しようかと考えていますが、
このような場合にDB処理や、サーバーのスペックとして注意する点などはありますでしょうか?

また、AWSのサービスなどをつかった、別の解決策などもありましたらご教授いただけると幸いです。

よろしくお願い致します

EKD👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

yuba

2016/03/08 02:41

IoT, BEMS関連ではとてもありそうな悩みですね。ということは「外部データ」というのは最新データだけ取れていればいいのではなく時系列データを取れている必要があるという解釈でいいでしょうか。 また、その外部データというのはタイムスタンプを持ったデータ(取るのが少し遅れたとしても目的の時刻のデータがわかるようになっている)なのか、タイムスタンプのないデータ(取るのが遅れたらその分遅れたデータが取れてしまう)なのか、などはいかがでしょうか。
techtack

2016/03/08 04:03

ご回答いただきありがとうございます。 >「外部データ」というのは最新データだけ取れていればいいのではなく時系列データを取れている必要があるという解釈でいいでしょうか。 はい、そのような解釈であっております。 また、タイムスタンプを持ったデータになります。
guest

回答2

0

まず第一に 情報取得元 API の制限が大丈夫かが心配ですね。
数万件のデータ取得は 普通の APIなら拒否しますがね。

投稿2016/03/08 01:46

pac894398

総合スコア429

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

techtack

2016/03/08 02:21

ご回答ありがとうございます。 API制限については、とりあえず問題無しという前提とさせてもらえると幸いです。
guest

0

CPUの数と使用可能なスレッド数だけ並列処理が出来ます。
2万件あっても、つかえるスレッド数が 8あれば、2500件ずつ登録できます。

データベースサービス
Amazon RDS for Oracle
Amazon RDS for SQL Server
とか、サービスがあります。金額等は、直接AWSに聞いてみてください。
活気ある日本人が対応してくれます。

投稿2016/03/08 02:39

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

techtack

2016/03/08 04:10

>CPUの数と使用可能なスレッド数だけ並列処理が出来ます。 >2万件あっても、つかえるスレッド数が 8あれば、2500件ずつ登録できます。 この辺りの理解が足りておらず、追加で質問させてください。 Ruby,Perlなどの言語を使用してバッチスクリプトを作成した場合に、 各言語側での実装で考慮したものにする必要があるのでしょうか? それとも、単純に同一のバッチを複数個同時に実行すれば、 よきに計らってスレッド数分、並列に実行されるのでしょうか?
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問