SQLを用いたリアルタイムデータ集約

前提・実現したいこと

複数のプログラムよりデータを集約するためにPostgreSQLを利用したいと考えています。

PostgreSQLにて以下要件の実現が可能かどうか、どのような処理で実現するかを教えていただけませんでしょうか。

またPostgreSQLは初心者のため、より効率的な代替手段がある場合は提案して頂ければ嬉しいです。
不明点等あるかと存じますが可能な限り回答いたしますので、何卒お願いいたします。

現在想定している環境

・PostgreSQL + Docker
・C# + Npgsql

・システム構成

・データ構造1(データ処理PCからのINSERTのみを受け付け記録。削除はせず蓄積)

time	value	open	high	low	code
2020-04-16 09:02:01.025608	831	828	836	825	1942
2020-04-16 09:02:01.029075	2706	2699	2706	2687	1959
2020-04-16 09:02:01.032292	2321	2300	2351	2298	2212
2020-04-16 09:02:01.034885	2324	2300	2351	2298	2212
2020-04-16 09:02:01.037515	642	639	645	637	1605

・データ構造2(データ構造1からのcode別で直近のものを抽出。データ処理PCに渡す)

code	open	high	low	value
1332	454	464	451	464
1605	639	645	637	642
1721	2800	2837	2793	2820
1801	3165	3185	3100	3120
1802	893	901	879	885

コード

現在以下のコードでINSERTを試みています。
1万件のINSERTが約20秒かかるため、500件/秒ほどの処理しかできていません。
リアルタイム性を重視しているためCommitの回数が多くなる点がネックかと考えております。

C#
1public string sql_db = "Host=172.16.1.130;Port=8330;Username=postgres;Password=postgres;Database=postgres";
2
3public void WriteSQL (int code_, double value_, double open_, double high_, double low_) {
4	string insert =@"INSERT INTO table20200417 (time,value,open,high,low) VALUES(current_timestamp,{0},{1},{2},{3});";
5
6	try {
7		using (var conn = new NpgsqlConnection (sql_db)) {
8			conn.Open ();
9			using (var cmd = new NpgsqlCommand (string.Format (insert, value_, open_, high_, low_, code_), conn)) {
10				cmd.ExecuteNonQuery ();
11				//Console.WriteLine ("success insert");
12			}
13		}
14	} catch (System.ObjectDisposedException e) {
15		//pass
16	}
17}

疑問点

・INSERTに競合または遅延等のボトルネックが発生する可能性があるのではないか
・データ構造１からデータ構造２へのリアルタイムな変形が可能か
~~・PostgreSQLのスペックはどの程度あれば捌けるか~~
~~・そもそもこの構成が適切かどうか~~

gentaro

2020/04/17 09:16

「SQL Server（マイクロソフトの製品）」なのか「PostgreSQL」なのかハッキリしないんですが、どっちの話をしてるのかという疑問と、そもそもスペック見積もりとかそれ作業の丸投げじゃね？と思いますが、ご自身で見積もる方法を勉強してやってみよう、という気がないのなら、お金払ってどっかに依頼されてみては。

aisuika

2020/04/17 09:34

gentaro様ご指摘ありがとうございます。SQL Serverは製品名なのですね。勉強になりました。今回使用したいのはPostgreSQLになります。スペックの見積もりについては、おっしゃる通りですね。今回は趣味の質問ですので自分で落としどころを探りたいと思います。

dodox86

2020/04/17 10:11

センサーデータか何かなのでしょうか。市販のPC数台での構成ならトランザクションを張っても1000件を1秒でコミットするのは不可能だろうと思い、回答を用意していましたが、お金に糸目をつけずに分散環境にしたり超エンタープライズ構成にしてネットを超高速にしてずっとつなぎっぱなしにするなどすれば不可能ではないと思いました。

dodox86

2020/04/17 10:16

私にとって不明点が多かったので回答は控えましたが、データ取得<-->データ集約間はDB/SQLを使わず軽いデータ構造の送受信にして、とにかく早く取り込ませて貯めさせておいて、集約部からの後段でゆっくりDB使うのが現実路線じゃないかな、と思いました。以上。

aisuika

2020/04/17 10:21

dodox86様ご指摘ありがとうございます。今回は趣味で作成しているシステムで、環境は全て自宅にあります。データは株価のリアルタイムデータです。ネットからの取得には成功していますので、やはりネックはデータの集約かなと感じています。 SQLはかなり難しく、皆さまの回答より自らの勉強不足を恥じるばかりです。

dodox86

2020/04/17 10:41

> データは株価のリアルタイムデータあー、実は「相場関係かな」とも思っていました。お望みの速さのパフォーマンスを出すのは、プロじゃないとかなり難しいと思いますよ。ご自分でやるなら、少し長い目で育てるくらいのつもりじゃないと。

aisuika

2020/04/17 10:45

おっしゃる通りですね。どの証券会社もかゆいところに手が届かないサービスで難儀しています。勉強だと思い腰を据えてやってみます。