RubyでWeb上からファイルをダウンロード

Question

毎朝4時に自動で以下のwebサイトからファイルを取得して、ローカルの指定ディレクトリに保存したいです。
この手の自動処理はやったことがないので、どういう手順を踏めば実現できるかわかりません。触り部分、全体の流れを教えていただきたいです。

取得したいファイルがあるサイト

https://www.boatrace.jp/owpc/pc/extra/data/download.html

やりたいこと

1. 毎朝4時に自動で上記のサイトから最新の情報を取りに行く
2. ダウンロードしたファイルを特定のフォルダに保存する
3. 時系列になるように名前を変更 ←これはできそうです
4. 最新のファイルがあればDBに自動取り込み ←これはできそうです
   

Answer 1

使い方はREADMEを読めば書いてありますが、イメージがつかなければ回答ください

Answer 2

https://github.com/javan/whenever
のgemを使うと実現しやすいと思います。

Comments

[ssk]

情報ありがとうございます。
こちらのgemを利用した実装もしてみます。

Answer 3

タスクスケジューラなどを使用して、以下のコードを時間になったら実行できるようにする。

require 'open-uri'
require 'nokogiri'

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
  + 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
url = 'https://www.boatrace.jp/owpc/pc/extra/data/download.html'
doc = Nokogiri::HTML.parse(open(url, { 'User-Agent' => USER_AGENT }))

def download_file(url, user_agent, referer)
  Dir.mkdir('download') unless Dir.exist?('download')
  file_name = DateTime.now.strftime("%Y%m%d%H%M%S")
  open("download/#{file_name + File.extname(url)}", 'wb') do |out|
    open(url, {'User-Agent' => user_agent, 'Referer' => referer}) do |data|
      out.write(data.read)
    end
  end
end

doc.xpath('//ul[@class="data_list h-mt15"]/li[1]').each do |li_tag|
  download_file('https://www.boatrace.jp' + li_tag.xpath('.//a/@href').text, USER_AGENT, url)
end