ソート順序を維持したままfind_eachのようにメモリの使用量を抑えたループ処理を行いたい

Question

前提・実現したいこと

Rails5のwebアプリケーションを作成しています。
大量のActiveRecordデータをループ処理させる際、使用メモリの上限を低くする方法としてfind_eachがありますが、
これはidのソート順に固定されてしまうという弱点があります。
よってソートの順番がidの並びと関係ないもの、かつループ処理においてソート順が意味のあるものだったりするとfind_eachは使えません。

試したこと

試しにこんなような方法を試みましたが、やはりメモリを食いつぶしてしまいました。

    # sorted_usersは事前に必要な順番にソートしたデータ
    sorted_users_ids = sorted_users.pluck(:id)
    sorted_users_ids.each_slice(1000).to_a.each do |users_ids|
      users = User.where(id: users_ids)
      users.each do |user|
        # userへの更新処理を含めた色々な処理
      end
    end
      

補足情報（FW/ツールのバージョンなど）

ruby -v
ruby 2.4.2p198 (2017-09-14 revision 59899) [x86_64-darwin16]
rails -v
Rails 5.1.4

みなさんのお知恵を貸してください。よろしくお願いいたします。

Answer 1

https://blog.toshimaru.net/rails-find_each/
ここでfind_eachの挙動が垣間見れますが、
最後に取ってきたレコードのidを覚えておいて、次はそのid以上のデータを取るようにしています。

自作することにはなりますが、同じようにorderをかけたいカラムについて
最後に取ってきたレコードの値を覚えておいて、次はその値以上のデータを取るようにすればいいかと思います。
(orderをかけたいカラムで値の重複があるようであればidも含めてorderをかければ大丈夫かと。)

Comments

[xiao_turquoise]

ありがとうございます。試してみます。