質問編集履歴
3
追記文追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -103,3 +103,19 @@
|
|
|
103
103
|
アカウントによっては途中で凍結が行われ、削除されるアカウントが存在し、頻繁に変動をする予定なので
|
|
104
104
|
|
|
105
105
|
動的にパーティションを追加、削除をするのは管理として難しいのではないかとゆう考えです。
|
|
106
|
+
|
|
107
|
+
|
|
108
|
+
|
|
109
|
+
|
|
110
|
+
|
|
111
|
+
###追記
|
|
112
|
+
|
|
113
|
+
いくつものご回答いただきありがとうございます。
|
|
114
|
+
|
|
115
|
+
一度自分で回答内容をそれぞれ試してみたいので、質問欄は少し期間を開けてOpenのままにさせていただきます。
|
|
116
|
+
|
|
117
|
+
後に回答していただける方のご意見も全て読ませていただきます。
|
|
118
|
+
|
|
119
|
+
ベストアンサーについては、ある程度自分で触った後に私と同じような質問者の方のご意見もふまえて選定させていただく予定です。
|
|
120
|
+
|
|
121
|
+
皆さん貴重なご意見ありがとうございます。m(__)m
|
2
具体的な質問内容の修正
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -2,7 +2,7 @@
|
|
|
2
2
|
|
|
3
3
|
・１日毎に100億件を超えるデータの更新を行う
|
|
4
4
|
|
|
5
|
-
|
|
5
|
+
・大量のデータを高速に取り扱う方法
|
|
6
6
|
|
|
7
7
|
### 詳細
|
|
8
8
|
|
1
文字を見やすく整列
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -30,7 +30,7 @@
|
|
|
30
30
|
|
|
31
31
|
|id|user_id|
|
|
32
32
|
|
|
33
|
-
||follower_id
|
|
33
|
+
||follower_id|
|
|
34
34
|
|
|
35
35
|
|
|
36
36
|
|
|
@@ -62,17 +62,21 @@
|
|
|
62
62
|
|
|
63
63
|
tmp_status_tableに当日のフォロワー状態を格納し、status_tableには前日のデータを格納する事で
|
|
64
64
|
|
|
65
|
-
集計を行う際に前日
|
|
65
|
+
集計を行う際に、前日と当日のテーブルを比較する事で対応を考えています。
|
|
66
|
+
|
|
67
|
+
(比較の際はWhere文でuser_idを指定しまとめて取得※効率悪いです・・)
|
|
66
68
|
|
|
67
69
|
|
|
68
70
|
|
|
69
71
|
### 問題点について
|
|
70
72
|
|
|
71
|
-
アカウント100万件につきフォロワー数平均１万なので、status_tableではおよそ100億件のデータが格納されており
|
|
73
|
+
アカウント100万件につきフォロワー数平均１万なので、status_tableではおよそ100億件のデータが格納されており
|
|
74
|
+
|
|
75
|
+
tmp_status_tableにも約100億件が格納されています
|
|
72
76
|
|
|
73
77
|
|
|
74
78
|
|
|
75
|
-
集計を確認し終えた際に、前日のデータを全て削除しなくてはならず
|
|
79
|
+
問題として、集計を確認し終えた際に、前日のデータを全て削除しなくてはならず
|
|
76
80
|
|
|
77
81
|
当日のデータをtmp_status_tableへ移行した後に当日のデータも全て削除する必要が有る為
|
|
78
82
|
|