プログラミング言語とDB接続の性能について

言語は問わないのですが（言語によって大きく違うのであればそれについても伺いたいです）プログラミング言語とDB接続についての質問です。

私の認識ではDB接続回数が増えるほど処理速度は遅くなってしまうと認識しています。
例えば同じ１００件のINSERT文でもfor文で１００回INSERTするよりも１文でまとめたSQLを発行するほうが速度は早い、という認識です。
他にもサブクエリを利用してSQLの発行回数を減らすほうが良いという認識です。

それはDB接続、データのやり取りに時間がかかるからだと聞いたことがあったのですが、そういうことを調べてもあまりそういう記事が見つからなかったため、こちらに質問させていただきました。

mattn

2017/07/12 15:52

文章の中に疑問文がありませんが、何が質問でしょうか？

uzihamada

2017/07/20 04:48

適当な質問で申し訳ありませんでした

行動規範の内容に同意します

回答5件

ベストアンサー

おっしゃる通り、DB接続の回数が増えると処理速度は遅くなります。
ただシステムの要件によるので、これがベストという断言はできません。

仮に1回と100回を考え、
1回の接続が1msだと100回の接続で100msになります。

一般的なwebシステムの場合、
クライアントへのhttp通信／クライアントのブラウザの描画でほとんどの時間がかかるので、
100ms早くなったとしても、あまり有効な処理とは言えません。
逆にすべてをSQLに寄せると改修やデバッグ／障害調査が困難なシステムになります。
処理がDBサーバとAPサーバに分かれるのでこれもマイナスポイントです。

バッチの場合、
基本的に数千件から数万件以上を扱うと思うので、1秒以上の改善が想定されます。
これもバッチにそれほどの性能要件があるかによるかと思います。
例えばinsert文であればそれを組み立てないといけないのでメモリもきにしないといけないと思います。
その前にそんなライブラリは少ないかと思うので、作る必要があるかもしれません。
バッチの許容時間が仮10分である場合は単純計算すると1/600の改善でしかありません。
正直あまり恩恵は受けれないと思います。

MtoMのシステムの場合、
対向のシステムがn秒以内の応答がないとダメというと
100回より1回のほうがいいかもしれません。
ボクはこういう状況にいたことがありません。

投稿2017/07/13 04:11

szk.

総合スコア1400

これだけで1冊の本になっちゃうくらいの内容なのですが...。
超いい加減ですみませんが、ざっくりDBの仕事を(かなりはしょって)フェイズに分けますと
検索
0.コネクションを確立する。
1.SQLを受け付ける(通信)
2.SQLを解析する
3.2をもとにデータを取得する
4.3の結果をメモリに乗せる
5.結果を返却する(通信)
追加更新
0.コネクションを確立する。
1.SQLを受け付ける(通信)
2.SQLを解析する
3.2をもとにデータを追加・更新する
4.index再構築等々
5.結果を返却する(通信)

で、超大原則を1つだけ...。
「ストレージのアクセスはけた違いに遅い」(上の3番)
これも結局構成のバランスとかやりたいことによって変わる話なんですが、考え方の軸ではあります。
特にHDDのランダムアクセスは遅い。index無なら破壊的に遅い。一概にはいえないですが通信コストに比べけた違いに遅い場合が多いということは知ってて損は無い。
でご質問のケースをネタに話を膨らませますと...。

100件のINSERT文

index減らす(4番)やDBの設定でストレージ書き込みタイミングを調整する(3番)とかはできるものの、
結局3番への効果って限定的です。だから通信コスト(問い合わせ回数)が効いてくる。
なので"１文でまとめたSQLを発行"は効果的なケースは多い。

サブクエリを利用してSQLの発行回数を減らす

こっちは場合によります。なぜならクエリの書き方は"ストレージのアクセス"を効率化できる可能性
があるから。下手にサブクエリ使ってdiskアクセスの効率を落とすなら問い合わせ回数を増やした方が
良いケースもある。通信に比べても"ストレージのアクセスはけた違いに遅い"場合があるので。

※DB接続回数
(ご質問の文脈だとSQL発行の事のようですが)コネクションの確立はたしかに遅い処理のひとつではあります。確立したコネクションをどう使いまわすか(あるいは使いまわさないか)はここは若干言語やライブラリ、アーキテクチャの選択に関係するところです。

投稿2017/07/13 03:03

kurokoba

総合スコア276

私の認識ではDB接続回数が増えるほど処理速度は遅くなってしまうと認識しています。

接続の手続きに時間が発生しますので、速度的には不利になります。接続回数も並列化で分割が可能であれば速度が早くなる可能性が有ります。

例えば同じ１００件のINSERT文でもfor文で１００回INSERTするよりも１文でまとめたSQLを発行するほうが速度は早い、という認識です。

SQL文にもよりますが、SQL解析速度と通信データ量による速度影響も考慮された方がよろしいかと考えます。
例えば１文でまとめたSQLが、INSERT INTO TABLE VALUES(1),(2),(3)....(100)とした場合、SQL文の解析処理回数が少ない分、＋SQL文の量が少ない分のメリットが得られると思います。ネットワーク環境も影響する事が有ります。

他にもサブクエリを利用してSQLの発行回数を減らすほうが良いという認識です。

発行回数が減れば良いですが、サブクエリは速度低下が発生する場合が有りますので、作り方によるかもしれません。サブクエリの部分をプログラムにキャッシュして出力時に変換する事で速度向上しているケースも有りますので。

投稿2017/07/12 22:54

A.Ichi

総合スコア4070

あたりまえな答えとなってしまうのですが、環境によって変わります。
環境に大きく左右されることを一般向けの記事とするのは難しいためそういった記事が見つからないのだと思います。

質問に**「認識」という言葉が何度か出てきているのですが、その認識には「同時に他の処理も発生している」**という部分が考慮されていないように思います。

私の認識ではDB接続回数が増えるほど処理速度は遅くなってしまうと認識しています。

ここでいう「処理速度」とは、単一の処理でしょうか、システム全体の処理でしょうか。
DBへの同時接続数は1?100?10,000? 接続を占有できない状況もあります。

例えば同じ１００件のINSERT文でもfor文で１００回INSERTするよりも１文でまとめたSQLを発行するほうが速度は早い、という認識です。
他にもサブクエリを利用してSQLの発行回数を減らすほうが良いという認識です。

前と同様に単体SQLの速度でしょうか、システム全体の速度でしょうか。
1文でまとめたSQLを発行している間、他の処理が待たされることがあります。
複雑なサブクエリでメモリ負荷やI/O負荷がかかるSQLは必ずしも良いとは限りません。

実際の運用では、ほかにもいろいろ（各種負荷や処理の優先度など）を考慮が必要で、そしてそれは更新され続けるため、状況を調査してチューニングすることを繰り返すだけです。
**「DB接続回数は少ない方がいい」と思い込みをするのではなく、「調査した結果、DB接続回数は少ない方がいい」**となるのだと認識した方が間違いがないと思います。

投稿2017/07/13 02:29