RailsのMechanizeメソッドを使ったスクレイピングについて

Question

ruby on railsのmechanizeメソッドでスクレイピングをしたいと考えております。

以下のようなHTMLがあります。

<table>
		<tr>
		<th class="MagPriTab_MagNa">雑誌名</th>
		<th class="MagPriTab_PubNa">出版社名</th>
		<th>印刷証明付き発行部数</th>
		</tr>
					<tr>
				<td class="MagDataTab_MagNa"><a href="http://withonline.jp/" target="_blank">with</a></td>
				<td>講談社</td>
		<td class="MagDataTab_count">200,000</td>
		</tr>
				<tr>
				<td class="MagDataTab_MagNa"><a href="http://more.shueisha.co.jp" target="_blank">MORE</a></td>
				<td>集英社</td>
		<td class="MagDataTab_count">256,667</td>
		</tr>
				<tr>
				<td class="MagDataTab_MagNa"><a href="http://www.shufu.co.jp" target="_blank">ar</a></td>
				<td>主婦と生活社</td>
		<td class="MagDataTab_count">121,067</td>
		</tr>
				</table>

ここから、

<td class="MagDataTab_count">200,000</td> <td class="MagDataTab_count">256,667</td> <td class="MagDataTab_count">121,067</td>

のタグから数字を取り出したいのですが、上手くいきません。
数字自体は取得できるのですが、なぜか数字が連結してしまいます。

スクレイピングのメソッド自体は以下のようなコードを書いています。

def self.mag_association
    counts = []
    agent = Mechanize.new
    page = agent.get("http://www.j-magazine.or.jp/magadata/index.php?module=list&action=list&cat1cd=2&cat3cd=19&period_cd=31")
    circulations = page.search('.MagDataTab')
    circulations.each do |numbers|
      circulation = numbers.search('.MagDataTab_count').inner_text
      magazine = Magazine.new(circulation: circulation)
      magazine.save
  end
  end

ターミナルのコンソールで実行すると以下のように表示されます。

[23] pry(main)> Scraping.mag_association
   (0.2ms)  BEGIN
  SQL (1.1ms)  INSERT INTO `magazines` (`circulation`, `created_at`, `updated_at`) VALUES ('200,000256,667121,067', '2016-05-09 08:42:18', '2016-05-09 08:42:18')

さきほど紹介したHTMLコード

<td class="MagDataTab_count">200,000</td>  
 <td class="MagDataTab_count">256,667</td> 
<td class="MagDataTab_count">121,067</td>

このタグ内の数字がなぜか連結してしまい、"200,000256,667121,067"と表示されていることが問題点です。

解決策をご教授いただけると幸いです。よろしくお願いします。

Answer 1

searchは Nokogiri::XML::NodeSet を返すのでは？
今回の場合、セレクタ .MagDataTab_count に該当する複数の要素が返されているようです。
さらに each で回せば、目的の結果が得られませんでしょうか。

def mag_association
  agent = Mechanize.new
  page = agent.get("http://www.j-magazine.or.jp/magadata/index.php?module=list&action=list&cat1cd=2&cat3cd=19&period_cd=31")
  circulations = page.search('.MagDataTab')
  circulations.each do |numbers|
    circulation = numbers.search('.MagDataTab_count')
    circulation.each do |count|
	    puts "count = #{count.inner_text}"
    end
  end
end

Comments

[退会済みユーザー]

ありがとうございます！無事に期待する出力が得られました。