Railsで定期的にスクレイピングさせる方法

Question

作成したモデルを通じて、スクレイピング結果をDBに保存させていきたいです。この処理は定期的に自動で実行させる必要があります。

Railsではwheneverというgemを使うと、crontabというスケジュール実行させるものを利用することができると知りました。しかし、今回は便利なモデルを使いたいです。このためには、Acitve Jobというのがいいのではないかと思いました。

Active Jobは非同期な処理をさせることができるとあります。今から1時間後、1週間後など、実行させるタイミングをずらす方法はありますが、定期的に実行させる方法はあるのでしょうか？

他にも定期処理にはこんな方法があるよ。これがおすすめだよというのが教えて頂きたいです。
ご回答、よろしくお願い致します。

Answer 1

clockwork というのもあります。

• Rubyでcronのような定期実行を実現するclockwork http://xoyip.hatenablog.com/entry/2014/02/17/222721

active job については次のページが参考になります。

Active Job の基礎 http://railsguides.jp/active_job_basics.html

Comments

[mitsuru793]

ご回答、ありがとうざいます。clockworkはwheneverと似たようなものなのですね。

active jobについては既にrailsガイドを見ておきました。ただ、定期実行の仕方が書いていませんでした。active jobで作成したjobはコントローラで呼び出すとありますが、このコントローラのメソッドは、/config/roots.rbで設定したURLにアクセスした場合に実行されるものですよね。
jobを実行するためだけのURLを用意して、そこに定期的にアクセスすると良いのでしょうか。URLはページ表示か、JSONを取得するためのAPIの形しか見たことがないです。

Answer 2

リッチなものだとJenkinsが有名ですね。
Webコンソール上からスケジュールの登録や実行、
実行結果をメール送信させたり、アカウント認証機能とかもついてます。

プラグインも豊富でWebコンソール上からボタン1つで導入可能です。

参考:
さくらの VPS に Jenkins を入れてみた
http://qiita.com/himagurashi/items/f79d129a7e2caedd5fd9

Comments

[mitsuru793]

ご回答、ありがとうざいます。
jenkinsとはUI付きのcrontabみたいなものなのですね。
Scrapeの実行させるアクションメソッドへのルーティングURLに、jenkinsでcurl使わせて定期的にアクセスさせたりすればいいのかなと思いました。