ruby on rails 複数回走るSQLを早くする方法

お世話になっております。
ruby on railsで、postgresqlに対する効率の良いinsert方法を教えて頂きたいです。
特定の条件によって、一時テーブルから一時テーブルにselect insertするようなコードを書いています。
一つ一つのselect insertは早いのですが、何万回とこの処理を走るので、とても時間がかかっています。
処理時間を減らす良い方法はないでしょうか？

tmp_table_A = get_tmp_table_A

for 1...100000
  if 条件１
  　ActiveRecord::Base.connection.execute("INSERT INTO tmp_table_B 
  　(
    　col1,col2,col3) 
  　SELECT 
   　col1,col2,col3
  　FROM
   　tmp_table_A
  　WHERE
   　条件１
  　")

  　elsif 条件２
  　ActiveRecord::Base.connection.execute("INSERT INTO tmp_table_B 
  　(
    　col1,col2,col3) 
  　SELECT 
   　col1,col2,col3
  　FROM
   　tmp_table_A
  　WHERE
   　条件２
  　")

  　elsif 条件３
  　ActiveRecord::Base.connection.execute("INSERT INTO tmp_table_B 
  　(
    　col1,col2,col3) 
  　SELECT 
   　col1,col2,col3
  　FROM
   　tmp_table_A
  　WHERE
   　条件２
  　")

...以降条件がいくつも続く

end

行動規範の内容に同意します

回答2件

ベストアンサー

１．一定件数でcommitする

　大量データになるとアーカイブログも増加しパフォーマンスがだんだん劣化します。
commitすることで、これらが解放されパフォーマンスが安定します。
※特に２．での条件にこれらのトランザクションが含まれているような場合には、顕著になります。

※一時テーブルということなので、自ずとトランザクション件数を分割して処理することと同じ意味になります。

２．INSERTの発行回数を減らす

insert into テーブル (select ~
で行っているので、条件を工夫すれば、一度に複数行の処理が行えますよね。

※１．を合わせて行う場合を考えて２．での処理は行数で範囲が絞れるような条件である方が良いでしょう。

３．一時テーブルにインデックスを作成する。

一時テーブルとは言え、実行計画を確認して適切なインデックスを作成すると劇的に早くなる場合があります。

投稿2017/11/27 14:51

編集2017/12/14 08:31

sazi

総合スコア25195

hiepita1

2017/12/07 12:31

今回は１トランザクション内で完結したい処理のため、2と3で対応することにしました。ありがとうございます。

行動規範の内容に同意します

SQLは実行する回数が少ない程処理時間は短いですから、DELETE, INSERT, SELECT, UPDATEなどの処理をなるべく複数行をまとめて実行できたり、テーブルの全件走査を避けるためにWHEREでの条件にみあう索引を適切に設定されているかがパフォーマンスに大きく影響します。
1回SQLを実行すれば良いのに LOOPの中で何億回も実行しているSQLがあるERPに出会ったこともあります。

質問の条件やCREATE TABLE, CREATE INDEX, 各テーブルのレコード件数を提示できると解決が早いかもしれません。

投稿2017/11/27 12:38