「レコード数が多い」とは、何件以上のことを言いますか？

Question

こんにちは。質問が大きく2つあります。

1. 「レコード件数が多い」とは、何件以上を指しますか？

業務システムでも、Webサービスでも何でもよいのですが、一般的にテーブル単位で「レコード数が多い」と聞いたら何件以上をイメージしますか？
私個人の話をすると、携わってきたシステムもそう多くないので、一般論というか、平均をお聞きしたいです。
「この件数のレコードをすべて処理するのは時間がかかりそうだなぁ・・。」という感覚でもいいのですが・・。
（もちろん、一般化するのも難しいかもしれませんので、回答者様の思う「多い」件数で構いません。）

2. レコードの件数と処理時間は比例しますか？

DBの更新などにかかる時間というものは、レコードの件数に比例するものでしょうか？
例えば、10万件が1時間で終わる処理であれば、100万件なら10時間ほど、ないしはそれに近い時間で終わると考えてよいでしょうか？

補足

使用しているDBはOracleです。
また、DBアーキテクチャについては不勉強なので、参考になる書籍等ご存じでしたら併せてお教えいただけると嬉しいです。

Comments

[m.ts10806]

聞いてどうしたいのでしょうか

Answer 1

みかんが多い、というのは何個以上？
という問いにあなたはなんと答える？

Comments

[sho03]

回答ありがとうございます。

Answer 2

1. 「レコード件数が多い」とは、何件以上を指しますか？

職場によって物差しがまったく違います。

DWH なら何千万件以上なら「レコード件数が多い」、いや、億を超えてはじめてデータ量が多いというところもあります。

本番環境なのに100万件くらいデータが入ったらディスクがパンクするギリギリで運用している信じられないユーザーもあります。

1. レコードの件数と処理時間は比例しますか？

一応の目安としてはそれでも良いですが、メモリも10倍確保できるの？ディスク(TABLESPACE も含めて) パンクしないの？って懸念が付きまといます。

実際にOracle のパフォーマンス・チューニングに呼ばれると処理時間やレスポンスが半分になったことも、10分の1になったりすることもあります。

きちんとパフォーマンスを考えられる人を一人でも入れておくと簡単に何千万円、何億円単位で無駄な費用を削れます。

Comments

[sho03]

回答ありがとうございます。
なるほど。業務で相当に異なるのですね。DWHなどのデータを専門に扱うのであればそうなりそうですね。
パフォーマンスの程度によるコストについては初めて聞きました。そんなにコスト削減になることもあるのですね。奥が深いです。
ご回答いただきありがとうございました。

Answer 3

もう BA は付いてますが、2. について。

適切なインデックスが利用できる場合、総件数はあまり気にする必要がありません。一般的に RDBMS で使われる b木インデックス（b+木インデックスを使う方が多いですが）の場合、1件の検索は最悪でも O(logx N) なので、全体件数が一〇〇倍になったからといっても検索性能が1/100 になることはありません。

実際にアクセスする件数の多さの方を重要視しましょう。
特に一度に扱う件数が多い場合（例えば1億件のデータの中から1000万件取りだして処理するなど）には、チューニングが大きく影響します

Comments

[sho03]

回答ありがとうございます。
なるほど。データ総数よりアクセス件数が大事なのですね。

Answer 4

1. 「レコード件数が多い」とは、何件以上を指しますか？

どういう目的のテーブルかによるけどマスター系のテーブルで1000万レコード持つものがひとつでも存在する場合は規模が大きいと感じます

「この件数のレコードをすべて処理するのは時間がかかりそうだなぁ・・。」

全て処理するというのがどういう処理かによります

1. レコードの件数と処理時間は比例しますか？

・比例はするけど件数を考慮しなければならない程時間が掛かるかはDB設計によります
・プログラムを通してSQLを実行する場合、DB設計を有効に活用しているプログラムが書かれているかによります

DBアーキテクチャについては不勉強

Oracle載せる時点でショボイDBサーバーという事もないでしょうから、総件数が10万～1000万程度ならグーグル先生にDB最適化を聞けば十分対応できます。10年ぐらい前の情報でも十分高速化可能。
DBの高速化の際に気にするのはSELECTにかかる時間で、それを高速化出来れば必然的に他の処理も速くなります

参考になる書籍等

[Web開発者のための]大規模サービス技術入門 ―データ構造、基礎知識（概念）が乏しいと思うなら読んでみてもいいかもしれません

Comments

[sho03]

回答ありがとうございます。
1000万件ですか。どのような処理かにもよるのですね。全レコードにUPDATEをすることを想定していました。
DB最適化ですか。ちょっと調べてみます。
参考書籍についても、ご教示いただきありがとうございます。

[hentaiman]

調べる単語は最適化に限らず正規化でも高速化でもなんでもいいですよ
「正規化」と調べれば高速化する方法も併せて載ってたり検索にヒットするのが普通だと思うので

[sho03]

なるほど。ありがとうございます。
ネットで調べれば周辺知識も併せて手に入れられそうですね。
書籍と一緒にいろいろ勉強してみます。ありがとうございました。

Answer 5

（誤記入のため削除）

Answer 6

レコード件数が多い」とは、何件以上を指しますか？

「1対多」や「多対多」のようなときの「多数」は、複数件取りうることを示します。もしかしたら1件かもしれませんが、それでも「複数のデータと対応付けられる」仕組みである以上は「多数」に分類されます。

Comments

[yuba]

質問者様が「multiple」でなく「big」の意味で「多い」という言葉を使っていることは質問文から明らかかと思います。

[maisumakun]

「多数」には多様な意味があることを、いちばん極端な例で示してみた感じです。

[sho03]

回答ありがとうございます。
質問する内容というのも、なかなか難しいものですね。DBでいえば関連の多さもまた、「多い」にあたるのですね。
もう少し質問力を上げられるよう、頑張ります。