Nokogiri で <br>で囲まれている要素のスクレイピングができない。

Question

やりたいこと

こちらのサイトの学生数と大学を全てスクレイピングしたいのですが要素が
<br>
--大学
<br>
ーー大学
<br>
ーー大学
.
.
.
となっていてるためスクレイピングできるタグがありません。どうしたら良いでしょうか？

Answer 1

覗いてみました。
それら全体を囲む<div>のtext要素を
split(/<br />\d+位：/) で分けて、最初を捨て最後を整形すれば良いのでは

Answer 2

書いてみました

正規表現で巧く抜き出してあげると、「ランキング」「大学名」「在籍学生数」の3要素を Hash としてまとめることもできると思います

require 'nokogiri'

html = <<EOF
<div class="Article__content">...
...
...
EOF

html = Nokogiri::HTML(html)

# 正規表現で、順位, 大学名, 在籍者数を含む文字列を抜き出し
def extract_universities(html)
  regexp = /([0-9１２３４５６７８９０]{1,3}位：[○ ● ▲ ◆][^）]+）)/
  _, *data = html.text.split(regexp)
                 .filter { |x| x.include?('大学') }
  data
end

# 順位の全角数字 (1 〜 9位) を半角に変換
def parse_ranking_number(char)
  trigger_pattern = %w[１ ２ ３ ４ ５ ６ ７ ８ ９]

  case char
  when *trigger_pattern
    trigger_pattern.index(char).succ
  else
    char.to_i
  end
end

# 順位, 大学名, 在籍者数を含む文字列をそれら要素ごとに分解して Hash に纏める
def parse_to_hash(universities_info_list)
  universities_info_list.map do |x|
    ranking, university_name = x.split(/位：[○ ● ▲ ◆]/)
    university_name, number_of_students = university_name.to_s.split(/（/)

    next if university_name.nil?

    {
      ranking: parse_ranking_number(ranking),
      name: university_name,
      number_of_students: number_of_students.to_s.delete('）,').to_i
    } 
  end
end

data = extract_universities(html)
# => ["１位：○日本大学（67,353）", ...]

pp parse_to_hash(data).compact
# => [{:ranking=>1, :name=>"日本大学", :number_of_students=>67353}, ...]

なにか参考になれば幸いです

Link

Rubular: a Ruby regular expression editor

Comments

[atage517]

goufさんありがとうございます。当方スクレイピングのスの字もわからないのですが、このコードを自分のファイルにコピペしたあとどのようにterminal上または　sqlite3 のdb常に情報を抜き出すことができるのでしょうか？
初歩的な質問ですみません。

[gouf]

大学の一覧情報が載っている <div> タグが含まれている HTML をコードに載せてあげると、上記回答したコードは (例示出力結果のコメントのように) 動作するようになっています。

SQLite3 に関わる部分は、別質問として新たに質問したほうが、話題のまとまりを保てて良いと思います。

まずは質問内容が解決したか、改善・変化があったかの判断が先かと思います。
ひとつひとつ、確実に解決していきましょう。

[atage517]

ただいま無事にできました！当方スクレピングの知識が全くなかったため的外れな質問をしてしまいました。
と同時にやはりプログラミングの世界には魔法使いと言われる人がいるんだなーと思いました。こんなコード自分では一生思いつかなかったです笑回答いただきありがとうございました！

Answer 3

タグで抽出できないなら、正規表現で抽出します。