Q&A
結局テーブル分割してもほぼ同じ容量を食うことになります。（テーブル分割したほうが使う領域多くなるとは思いますが）
低スペックだという認識でしたら、運用のためにスペック上げるしかなくなるのでは。
データベースの設計で1つのテーブルにデータを入れ込むか、
テーブルを複数持つかで悩んでいます。
条件は以下になります。
・500カ所以上にセンサーを設置し1日100件ほどデータを取得（年間1800万件ほど）
・1件あたりの測定個数は256個以上
・データベースのデータはWEBシステムでグラフや帳票にする（月ごとにパーティションで分割予定）
・稼働後もセンサーは少しずつ増える可能性あり
・使用するDBサーバーは2core8gbぐらいの低スペック
500カ所テーブルをもったほうが良いか、
1つのテーブルに入れ込んだほうが良いのかわかりません。
教えてください。
よろしくお願いします。
追記
パフォーマンス（速度）を求めています。
すみません書いておりませんが容量ではなく速度を求めています。
運用にお金をかけれないのでスペックはとりあえずそこからスタートする予定です。
書いてないのでしたら質問本文に追記してください。
書いてあることが全てです。 それに、速度でしたら実際に簡易にテーブル作って同じデータ量突っ込んで参照すれば試せるのでは？
要件いい加減過ぎてテーブル分割そのものを許容して良いのかどうかすら分かりませんね
質問者自身が「500テーブルに分けるほうがいいか」と言っている点をから、500に分けてもシステムの動作には全く影響ないと考えていいんですかね？
回答6件
ベストアンサー
0
計算すると。
単純に1レコード化する場合
500ケ×31日×100件×256個=396.8百件/月(約4億件)
1件に複数検査項目を入れて1レコード化する場合
500ケ×31日×100件=1.55百件/月(約2百万件)
月に4億件の方ですと言われてます様に多いと思います。
パーティションで分割と言われていますので、こちらが第一候補でしょうか。
月に2百万件であれば普通に見かける件数と思いますので、さほど悩まないかと思います。
ただ、その後のアプリケーションで利用する時に難しくなるケールがあります。
意見ですが、データ用テーブルは月4億件側の1本が良いかと思います。使い勝手が良いです。
構成にて極力項目数/項目長を少なくして対応します。
年月/日/時刻/箇所NO/センサーNO/件NO/測定内容NO/測定値
といった感じでしょうか。項目もINTなど短い項目型を採用。
その他名称等は、日常的に増加がないマスタテーブル側に持たせます。
こちらをメインデータとして運用。
データベースのデータはWEBシステムでグラフや帳票にする
こちらが目的の様ですので、
グラフ用テーブル
とか帳票用テーブルを別途作成。
箇所NO/箇所名称/センサーNO/センサ名称/年月日/回数/検査名1/検査値1/検査名2/検査値2････
こんな感じでしょうか。
1日1回夜中にでもこのテーブルへバッチ更新を行い、WEBシステム側ではこのテーブルを見る事で速度向上を図ります。
速度上げるため古いデータは削除で良いと思います。
バッチは場合によって1時間に一回とか、年月日+箇所NOで部分的にデータを更新させるプログラムがあっても良いと思います。
検査測定データですので、それほどリアルタイムの必要性は低いと予想しますので、バッチで良いかと思われます。
パーティション機能は使った事が無いので速度的に効果あるんでしょうか？
インデックスを適切に張っても行く様な気がします。
パーティションの場合には、先頭に当月区分(例：値1)とか項目設けて、これを選択したパーティションを見れば当月データが見れるイメージでしょうか。
投稿2020/10/07 00:11
編集2020/10/07 00:19
総合スコア28
回答ありがとうございます。
月に2百万件で考えていました。
4億件の方法は件数が跳ね上がるので考えていませんでしたが、
利用する観点からするとそちらが良いのですね。
ちなみにパーティショニングはかなり効果有りました。
0
高速処理化！MySQLのパーティショニング機能を使ってみよう
1テーブルの内容を分割保存することができ
使用する場合は1テーブルと見なすことができます。
制約もありますがこの様な方法があるという事です。
追記
細かく書かないと判らない人がいるみたいなので
今現在MySQLでは最大8192パーティションまで対応しています。
質問者様が想定している月毎だと1パーティション
年間1800万件 / 12か月 = 150万件
それより
箇所毎だと1パーティション
年間1800万件 / 500カ所 = 3.6万件
が良いのでは？
ただし使用目的や用途によっては適さない分け方です。
そこは質問者様が判断して下さい。
あと一定期間過ぎたら集計結果しか使わないなどの場合
元となるデータをバックアップテーブルに一部移し替える手法もあります。
(ひと月に一回1年前より古いデータは移し替える)
パーティションとバックアップの併用は可能ですのでご検討下さい。
投稿2020/10/05 07:25
編集2020/10/05 18:21
総合スコア2506
＞細かく書かないと判らない人がいるみたいなので
というよりいたずら低評価に見えますが、そうでないなら理由は気になるところです
回答ありがとうございます。
パーティショニングを使う予定でした。
実際に試作したところかなり良いパフォーマンスが得られました。
あなたの回答
tips
プレビュー
