Railsでhas_manyによるメソッドを使うのではなく、サブセレクトを使う理由

Question

現在、Ruby on Rails チュートリアルのソースコードをgithubからダウンロードして、勉強のために閲覧しています。 Twitterのようにつぶやいたことを表示するアプリです。

下記のself.from_users_followed_byは引数に受け取ったuserがフォローしているユーザーがフォローしているユーザーの投稿を取得するものです。

class Micropost < ActiveRecord::Base
  def self.from_users_followed_by(user)
    followed_user_ids = user.followed_user_ids
    where("user_id IN (?) OR user_id = ?", followed_user_ids, user)
  end
end

このメソッドだとフォローしているユーザーが5000人以上だとスケールアップができないため、次のようにサブセレクトを使い対応すると書いてありました。

class Micropost < ActiveRecord::Base
  def self.from_users_followed_by(user)
    followed_user_ids = "SELECT followed_id FROM relationships
                         WHERE follower_id = :user_id"
    where("user_id IN (#{followed_user_ids}) OR user_id = :user_id",
          user_id: user.id)
  end
end

もとのfollowed_user_ids = user.followed_user_idsの方法だと、全てのフォローしているユーザーidの配列がrubyのメモリの中に配置されてしまうのが問題なのでしょうか？それがサブセレクトを使うと、ruby側の余分なメモリ確保を防ぐことができると思いました。しかし、サブセレクトでもidを取得した際にメモリ確保はされると思います。

followed_user_ids = user.followed_user_idsの問題は上記の解釈で合っていますでしょうか？
ご回答、よろしくお願い致します。

Answer 1

ruby側の余分なメモリ確保を防ぐことができる

というのは、その通りです。

チュートリアルで書かれていますが、サブセレクトを使用しない方のfollowed_user_idsは、ActiveRecordが自動的に動作するメソッドです。
内部的には、
user.followed_users.map{|u| u.id}みたいな動作になります。
この方法だと、まず、user.followed_usersをコールするので、
自動的にfollowed_usersのインスタンスを全てメモリに展開してしまいます。

したのサブセレクトの方だと、usersのid列だけを取得しているので、
その分メモリが使用されないという利点があるはずです。

Comments

[mitsuru793]

rubyには便利なメソッドがありますが、それには色々なメソッドが被せてあるので動作が重くなってしまうのですね。ということはSQLでできる事はなるべくSQLで対応した方が高速になるということですね。
お答え頂き、ありがとうございました。

[rifuch]

Railsはさらっと書くのには向いていますが、ちょっと油断すると、大量のIOが発生したりと気が抜けないです。
そのコードがどのようなIOを発生させるのかとか、どの状態でキャッシュがきくのかとか、そういうことを考える必要がありますね。
ちなみに、上記のようなことであれば、サブクエリを使えばIOを1回で済ませることが出来るので、私だったらそう書きます。

[mitsuru793]

サブクエリとはサブセレクトのことですよね。
Railsは作成するのが手軽で面倒なことを色々やってくれる分、その色々が処理量を増やすことにもなるのですね。またこのIOを減らすのがチューニングに繋がるというイメージが持てました。
ありがとうございます。

[rifuch]

あ、おっしゃるとおりです。なぜか、サンプルコードを見て2回IOが発生すると勘違いしていました。
普段なるべく生のSQLを書かないようにしているので、読み間違えてました。
> IOを減らすのがチューニングに繋がる
これは、ある意味その通りです。webシステムの最大のボトルネックはそこにあると言われていますから、大体チューニングで最初に手をつけるのはここですね。

[mitsuru793]

> webシステムの最大のボトルネックはそこにある
これはwebはクライアントとサーバーがHTTPリクエストを使って、小さなデータでも遠隔通信を行う必要があるからということですよね。
webの最大のボトルネックはIOというのは初めて聞きました。大変勉強になります。

[rifuch]

この場合のIOは、データベースとのIOです。(IOっていう言い方が悪かったですね)
1リクエストの処理において、DBMSとの通信オーバーヘッドが一番コストを食うので、出来るだけデータベースとの通信は一発で終わるようにするのが良い、という考え方です。
もちろん、サーバーとクライアントの間の通信もボトルネックではあるのですが、見せ方や
AJAXを使うことでごまかしはききます。
Railsの場合、リレーションをつけたオブジェクトに対して、メソッドでアクセスできるので、意識せずにビューでループを回したりすると、ループ1回に付き1回DBアクセスが発生したりするので、そのあたりは要注意です。

[mitsuru793]

1回のリクエストにおいての、DBとの通信回数も減らさないといけないのですね。リクエストを減らすだけでなくその先も見ないと。
大変勉強になりました。ありがとうございます。