回答編集履歴
2
件数間違えました
answer
CHANGED
|
@@ -12,4 +12,7 @@
|
|
|
12
12
|
上に上げた、BigQueryにしろ ,RedShiftにしろTDにしろ、データが溜まっても、集計時間が大幅に伸びづらいので、後々楽です。
|
|
13
13
|
ちなみにRedshiftはPostgresqlのドライバーが使えるのでphpからアクセするなら乗換コストは少なくて済むと思います。
|
|
14
14
|
|
|
15
|
-
あと、株価の銘柄って増えづらいので、私だったら、銘柄ごとにテーブル分けちゃいます。多分銘柄でjoinするとか無いと思う(あるのだろうか？)ので、銘柄ごとにすれば、各テーブル1日300件しか増えないので、集計は楽かなと思います。
|
|
15
|
+
あと、株価の銘柄って増えづらいので、私だったら、銘柄ごとにテーブル分けちゃいます。多分銘柄でjoinするとか無いと思う(あるのだろうか？)ので、銘柄ごとにすれば、各テーブル1日300件しか増えないので、集計は楽かなと思います。
|
|
16
|
+
|
|
17
|
+
|
|
18
|
+
ああ、よく読んだら、1000万件ではなくて100万件でしたね。それなら1年(200日と換算して)2億件位ですね。それならmysqlでもギリギリなんとかなるかも。2億件のダミーデータを入れてベンチマークを取ってみたら如何でしょう？
|
1
テーブル分割について書きました
answer
CHANGED
|
@@ -9,4 +9,7 @@
|
|
|
9
9
|
|
|
10
10
|
試しに、mysqlに3年分のデータ(60億件位？)を入れて集計してベンチマークを取ってみたらどうでしょうか？mysqlはある程度までは頑張って集計してくれますが、ある程度を超えると急に集計時間が指数関数的に増えてしまうため、取り扱いが難しいです。
|
|
11
11
|
|
|
12
|
-
上に上げた、BigQueryにしろ ,RedShiftにしろTDにしろ、データが溜まっても、集計時間が大幅に伸びづらいので、後々楽です。
|
|
12
|
+
上に上げた、BigQueryにしろ ,RedShiftにしろTDにしろ、データが溜まっても、集計時間が大幅に伸びづらいので、後々楽です。
|
|
13
|
+
ちなみにRedshiftはPostgresqlのドライバーが使えるのでphpからアクセするなら乗換コストは少なくて済むと思います。
|
|
14
|
+
|
|
15
|
+
あと、株価の銘柄って増えづらいので、私だったら、銘柄ごとにテーブル分けちゃいます。多分銘柄でjoinするとか無いと思う(あるのだろうか？)ので、銘柄ごとにすれば、各テーブル1日300件しか増えないので、集計は楽かなと思います。
|