Railsのコネクションプーリングについて

Question

比較的大きめなサイトになってくると、はりっぱなしのコネクションが多くなりすぎちゃって大変なことになってきます(1サーバ1万コネクションとかなりかねない)。

http://www.kaeruspoon.net/articles/916

これを読んで、どうしてそんなにコネクションが多くなってしまうのだろうと疑問に思って調べているのですが、どうもよく分かりません。

nginx + unicorn + railsという環境では、unicornはシングルスレッドでワーカープロセス数も固定されているので、unicornワーカープロセス1個に付きDB接続を1本持って永続化していれば十分なんじゃないでしょうか？

私が何か勘違いしているのだと思いますが、この辺の仕組みを教えていただければ幸いです。

Answer 1

ちょっと情報が古くないですか?

コネクションプールに関しては、詳しく調べた訳ではないので、実際にはどうかわかりませんが、
現在は、コネクションプールの数はdabase.ymlで設定できるようです。
RailsGuide 7 Database pooling

コネクション自体は、ActiveRecord::ConnectionAdapters::ConnectionPoolで定義されているので、
その辺のソースを一読すると良いかもです。

Comments

[vc3000]

ありがとうございます。
確かに私が張ったリンク先はちょっと古かったですね。
他に下記ページ等でコネクションプーリングをオフにした方がいいとも言われていて、この辺りをちゃんと理解したいと思って色々調べていたのでした。
http://techlife.cookpad.com/entry/2014/08/28/194147

頂いたリンク先を読んでみたところ、unicorn等のアプリケーションサーバがDB接続を多数要求した場合でも、接続の最大数はコネクションプールで指定した数に制限されるという風に解釈したのですが合ってますでしょうか？

試しに実験してみました。

【環境】
nginx 1.8.0
unicorn 4.9.0
Rails 4.2.3
Postgres 9.4.4
サーバマシン：MacBook Air Core i5 2コア。ハイパースレッディングで論理4コア
クライアントマシン：同上

【方法】
下記コマンドでサーバに並列アクセスし、postgresの`SELECT * FROM pg_stat_activity ;`でコネクション数を見る。

```
while true; do cat url_list.txt; done | xargs -P4 -n1 curl >/dev/null
```

【設定１】
nginxのワーカープロセス＝1
unicornのワーカープロセス＝１
database.ymlのpool: 5

結果：
unicornからのコネクション数は常に１だった。

【設定2】
nginxのワーカープロセス＝4
unicornのワーカープロセス＝4
database.ymlのpool: 2

結果：
unicornからのコネクション数は常に4だった。

【設定3】
nginxのワーカープロセス＝4
unicornのワーカープロセス＝4
database.ymlのpool: 10

結果：
unicornからのコネクション数は常に4だった。

この結果からすると、この構成ではDB接続数は常にunicornワーカープロセス数と等しく、poolの値は意味がないようなのですが…

[rifuch]

DBへのコネクションプーリングを行っているのは、ActiveRecord側なので、UnicornやNginxは全然影響しないかと思います。
コネクションプーリングが4だったのは、デフォルトのコネクション数の設定が5で、なぜか設定されたプーリング数よりも1少ないコネクションを保持するため、という情報を見かけた気がします。
いずれにせよ、コネクションプーリングは、ActiveRecord::ConnectionAdapters::ConnectionPoolで管理されているので、フロントエンドのNginx,Unicornは全く関係ありません。
試しに、database.ymlでpool: 10とかに設定してみると比較できるように思います。

[eripong]

横から失礼します。
unicorn上でActiveRecordが動いているので、
関係はあると思います。

poolの設定は、あくまで、1つのプロセス内での制限と思います。
アプリケーションサーバが複数のスレッドでrailsの処理を行う場合に、
制限が適用されるのだと思います。

1プロセスあたり1スレッドのunicornを使っている限り、
railsの処理を行うスレッドの数=unicornのワーカープロセス数>=コネクション数
になるのでは？

[rifuch]

eripongさんのコメントも一理ありますね。この話題、私も個人的に興味があるので、時間を見て検証してみます。

[hello-world]

Cookpadの話は、せっかく読み取り専用のDBを用意したのにコネクションをプールしたら負荷分散できないから切る、って話ですよね？

コネクション数が増えて困るわーという話とはすこし違うと思います。

Answer 2

Rails側のコネクション数のことではなくて、APサーバが数百台とかあるときのスレーブDB側のコネクション数のことでした。わかりにくいですね。

Comments

[TsukasaOISHI]

それから、database.ymlのpool値は複数のスレッドを立ち上げたときに使われるので、通常のRailsの使い方なら常に1本コネクションがあるだけです。そのためRailsのプロセス数(unicornのワーカー数)と同値になっていたのです。

[rifuch]

なるほど、そういうことでしたか！腑に落ちました。ありがとうございます。