heroku上でActiveJob（Sidekiq）の二重実行を防ぐ方法

Question

クローラーをRailsで作っているものです

アプリの具体的な機能としては

• クローラーの実行（データの収集）
• クローラーで集めてきた情報をDBに格納
• DBに格納したデータのソート、フィルタリング表示

といったシンプルなものです

このうちクローラーをActiveJobとSidekiqで実行しているのですが、二重で実行されるのを防ぐため、Jobの実行時にtmp/pids/LOCK.pidファイルを作り、そのファイルがすでにあるかどうかを見てからJobを走らせるようにしています

# crawl_controller.rb

before_action :check_lockfile_before_crawl

def check_lockfile_before_crawl
    if File.exists?(LOCKFILE)
      pid = 0
      File.open(LOCKFILE, "r") do |f|
        pid = f.read.chomp!.to_i
      end
      if exist_process(pid)
        flash[:danger] = "現在クローリング中です。クローリングを実行する場合は現在のクローリングが終了した後にやり直してください"
      else
        flash[:danger] = "プロセス途中で死んだタスクがあります"
      end
      redirect_to root_path
      return
    end
  end

def exist_process(pid)
    begin
      gid = Process.getpgid(pid)
      true
    rescue => e
      logger e
      false
    end
  end

これがローカルの環境なら良いのですが、herokuだとredis系の処理がWebとは別のDyno内で走ってしまうので、自ずとpidファイルもworker-dynoの上で作成されてしまうようなのです

なので上のようなメソッドを作っても、Web-Dyno内のサーバ上にpidファイルが作成されないがゆえに意味をなさないのです........

長くなりましたが、要は

• herokuないで二重で走らないようなバックグラウンドのロジックはどのように書いたら良いでしょうか？

ということです

よろしくお願いいたします

Answer 1

worker-dynoのログを確認すると原因が分かるかもしれません。
私の場合、勝手にDyno Restartされて2重実行されてました。
Dyno Restarされているログがありましたら、その時間帯とWoker完了時間の両方をを確認し、重複しているデータの作成日で比べると問題の切り分けができると思います。

Comments

[dialbird]

shimadamaさん

ありがとうございます！