NokogiriでスクレイピングしたデータをSqlite3のデータベースに入れる方法がわかりません。

Question

わからないこと

こちらのサイトから大学の名前と生徒数をスクレイピングして情報を抜き出すことができたのですが、それをsqlite3のデータベースに入れる方法がわかりません。

ちなみにコードはこちらを参考にしています。

対象のコード

require 'nokogiri'

html = <<EOF
<div class="Article__content">...
...
...
EOF

html = Nokogiri::HTML(html)

# 正規表現で、順位, 大学名, 在籍者数を含む文字列を抜き出し
def extract_universities(html)
  regexp = /([0-9１２３４５６７８９０]{1,3}位：[○ ● ▲ ◆][^）]+）)/
  _, *data = html.text.split(regexp)
                 .filter { |x| x.include?('大学') }
  data
end

# 順位の全角数字 (1 〜 9位) を半角に変換
def parse_ranking_number(str)
  case str
  when '１'
    1
  when '２'
    2
  when '３'
    3
  when '４'
    4
  when '５'
    5
  when '６'
    6
  when '７'
    7
  when '８'
    8
  when '９'
    9
  else
    str.to_i
  end
end

# 順位, 大学名, 在籍者数を含む文字列をそれら要素ごとに分解して Hash に纏める
def parse_to_hash(universities_info_list)
  universities_info_list.map do |x|
    ranking, university_name = x.split(/位：[○ ● ▲ ◆]/)
    university_name, number_of_students = university_name.to_s.split(/（/)

    next if university_name.nil?

    {
      ranking: parse_ranking_number(ranking),
      name: university_name,
      number_of_students: number_of_students.to_s.delete('）,').to_i
    } 
  end
end

data = extract_universities(html)
# => ["１位：○日本大学（67,353）", ...]

pp parse_to_hash(data).compact
# => [{:ranking=>1, :name=>"日本大学", :number_of_students=>67353}, ...]

以上のようにして取得したデータを-
|:id|:name:|student_number:|
|1|日本大学|67353|
|2|hoge大学|60000|
|3|hogehoge大学|50000|
.
.
.
のようにデータベースに一気に保存したいです

Comments

[gouf]

わたしの書いたコードを利用するのは構わないのですが、質問欄にその旨追記いただけたらありがたいです : https://teratail.com/questions/280269#reply-399146

[atage517]

失礼いたしました！

Answer 1

純ruby　でなく rails ですよね？
Rails6ですとまとめて登録が出来るようになったということですが、５までですと一気はできません。
parse_to_hash(data).compact.each{|univerce| Univerce.create(univerce)}
とでもしてください。

Comments

[atage517]

いつもありがとうございます。
rails -v の結果は以下の通りとなっています

rails -v
Rails 6.0.3.2

ruby -v は　2.7.0ですがこの場合はスクレイピングした内容をsqlite3に登録できますかね？

[winterboum]

rails6ですとまとめてというのができますが、わたしまだ勉強中でわかりません。
上に載せた方法は６でもできます。