Rubyを利用してWeb上からファイルをダウンロード

Question

やりたいこと

1. ご覧になりたい日付を選択
2. ご覧になりたい日を選択
3. ダウンロードされたファイルを特定のフォルダに保存

困っていること

1. セレクトボックスから特定の月を選択
2. ラジオボタンから特定の日を選択
3. ダウンロードボタンを押してファイルを特定のフォルダに保存

と、つまりほぼ全ての処理がわからず困っています、、
※セレクトボックスとラジオボタンで選択する日は今日の日付です。

ファイルダウンロードまでできているコード（別ページ）

require 'open-uri'
require 'nokogiri'

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
  + 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
url = 'https://www.boatrace.jp/owpc/pc/extra/data/download.html'
doc = Nokogiri::HTML.parse(open(url, { 'User-Agent' => USER_AGENT }))

def download_file(url, user_agent, referer)
  Dir.mkdir('download') unless Dir.exist?('download')
  file_name = DateTime.now.strftime("%Y%m%d%H%M%S")
  open("download/#{file_name + File.extname(url)}", 'wb') do |out|
    open(url, {'User-Agent' => user_agent, 'Referer' => referer}) do |data|
      out.write(data.read)
    end
  end
end

doc.xpath('//ul[@class="data_list h-mt15"]/li[1]').each do |li_tag|
  download_file('https://www.boatrace.jp' + li_tag.xpath('.//a/@href').text, USER_AGENT, url)
end

https://teratail.com/questions/185589
こちらの質問で教えていただきました↑

取得したいファイルがあるサイト

http://www1.mbrace.or.jp/od2/K/dindex.html

ダウンロード手順

Answer 1

require 'open-uri'
require 'nokogiri'

input_date = '20190502' # 日付を入力する
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
REFERER = 'http://www1.mbrace.or.jp/od2/K/dmenu.html'

def download_file(url, user_agent, referer)
  Dir.mkdir('download') unless Dir.exist?('download')
  file_name = DateTime.now.strftime("%Y%m%d%H%M%S")
  open("download/#{file_name + File.extname(url)}", 'wb') do |out|
    open(url, {'User-Agent' => user_agent, 'Referer' => referer}) do |data|
      out.write(data.read)
    end
  end
end

doc1 = Nokogiri::HTML.parse(open('http://www1.mbrace.or.jp/od2/K/dmenu.html',
  { 'User-Agent' => USER_AGENT }))

month = doc1.xpath('//select[@name="MONTH"]/option').map.with_index do |option, i|
  option.xpath('@value').text unless i.zero?
end

unless month.include?(input_date[0, 6])
  puts "選択された月はありません：#{input_date[0, 6]}"
  exit
end

doc2 = Nokogiri::HTML.parse(open("http://www1.mbrace.or.jp/od2/K/#{input_date[0, 6]}/mday.html",
  { 'User-Agent' => USER_AGENT, 'Referer' => REFERER }))

days = doc2.xpath('//input[@type="radio"]').map do |radio|
  radio.xpath('@value').text
end

unless days.include?(input_date[6, 2])
  puts "選択された日はありません：#{input_date[6, 2]}"
  exit
end

file_url = "http://www1.mbrace.or.jp/od2/K/#{input_date[0, 6]}/k#{input_date[2, 6]}.lzh"
file_ref = "http://www1.mbrace.or.jp/od2/K/#{input_date[0, 6]}/mday.html"

download_file(file_url , USER_AGENT, file_ref)

Comments

[ssk]

前回に引き続き、ご回答ありがとうございます。
大変助かりました。

Answer 2

ページは見てませんが、対象ページでフォームをsubmitしたいということですかね？

方法1：
mechanizeというgemsを使う。Rubyで完結する。ただし、JavaScriptで動的に作られたページだと対応できない。

方法2：
ChromeやFirefox等のブラウザを制御するselenium selenium-webdriverというgemsを使う。Rubyスクリプトからブラウザを起動して、コマンドを送って操作します。

それぞれググってください。

Comments

[ssk]

ご回答いただき、ありがとうございました。
mechanizeで試して、ファイルダウンロードするところまでできました。

ただ、申し訳ございません、、
今回は実際のコードをご提示してくださったuser1様をベストアンサーとします。