データベースの設計について質問です。
例えば50,000,000行のデータが入ったテーブルがあったとして、これを5個のテーブル、それぞれ10,000,000行ずつに分けたとすると速度はどう変わる、もしくは変わらないのでしょうか?
気になる質問をクリップする
クリップした質問は、後からいつでもMYページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2019/03/14 02:25
回答6件
0
ベストアンサー
大量なデータは適切な分割をする事で早くなります。
特徴的なものとしてパーティショニングが挙げられます。
特にpostgresは、テーブルを構造体で管理し、物理テーブルをパーティショニング単位で分割しています。
パーティショニング : 用途と利点
パーティショニングの利点
データを分割することで性能面や管理面に利点があります。特にデータベースのサイズがサーバの搭載メモリよりも大きい場合に効果が期待できます。
パーティショニングの欠点
PostgreSQL はパーティショニング専用の組み込み機能を持たず、複数のテーブル/継承/CHECK 制約などを組み合わせて実現しています。それが災いし、パーティショニングを行うと性能や機能が低下する場合があります。回避方法は多くの場合、個々のパーティションを指定したSQLを書くことです。
但し、アクセスが集中せずランダムになるようなパーティション単位だと逆に遅くなります。
投稿2019/03/14 00:20
編集2019/03/15 14:36総合スコア25138
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
0
SELECTする条件(ON, WHERE)に見合ったインデックスが設定されていれば、何千万件のテーブルでも十分なレスポンスが期待できますが、適切なインデックスが設定されていても、テーブルを分割することによって
SQL
1SELECT ... 2FROM TABLE1 3WHERE ... 4UNION ALL 5SELECT ... 6FROM TABLE2 7WHERE ... 8UNION ALL 9SELECT ... 10FROM TABLE3 11WHERE ...
とUNION ALLを多用しないといけなくなるなら実質SQLを多く実行しなければならなくなるので、パフォーマンスは落ちます。
まず、どういう条件でSQLが発行されるのかきちんと調査されては?
投稿2019/03/14 00:40
総合スコア16415
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
0
一般的にはdbには、レンジ分けという機能があります。saziさんの書いたこととダブりますが、
参考として、https://qiita.com/bunty/items/6be5bbce33a4a55dced2 に記述があります。
使い方としては、mts10806の記述にもあるように住所であれば、都道府県で分けるとか、23区のような大都市の場合には、区でレンジ分けすることも考慮します。まずは50,000,000行のデータがどのような分布になっているか分析から行ってはいかがでしょうか?
投稿2019/03/18 07:32
総合スコア341
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
0
具体的な前提条件がないので「やり方による」としか。
ただ、テーブルを分割すれば早くなるかもしれませんが
それに伴い検索や更新の手間がかかるようになります。
例えば、インデックスをはれば検索は早くなるけど
更新に時間がかかるようになるみたいなはなし。
システムのターンアラウンドタイムは全体でみて
検討していかないと思わぬところではまったりします。
投稿2019/03/13 23:43
総合スコア7458
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
0
DB の種類やマシンスペックにもよるので一概には言えませんが、一般的にテーブルの行数が増えれば増えるほど、速度は遅くなると思います。
投稿2019/03/13 22:52
総合スコア6500
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
あなたの回答
tips
太字
斜体
打ち消し線
見出し
引用テキストの挿入
コードの挿入
リンクの挿入
リストの挿入
番号リストの挿入
表の挿入
水平線の挿入
プレビュー
質問の解決につながる回答をしましょう。 サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。 また、読む側のことを考えた、分かりやすい文章を心がけましょう。