htmlファイルから取得したデータのcsvファイルへの書込みがうまくいきません。

Question

htmlファイルからNokogiriで取得したデータのcsvファイルへの書込みがうまくいきません。
htmlファイルの中の表データから4種類のデータを取得をしましたが、
4つ目のhref属性のデータがうまく取得できません。

下記のような表から4項目のデータを取得しcsvファイルに書き込むと、

列a	列b	列c	列d
製造年	産地	価格	写真ﾘﾝｸ
2016	tokyo	ﾘﾝｸ1
2013	chiba	2500
2015	osaka	ﾘﾝｸ2
2016	kyoto	2100
2016	kobe	2200	ﾘﾝｸ3

d列だけ、データが空の場合いは、下記のように上に詰めて書込みされてしまいます。

2016,tokyo, ,ﾘﾝｸ1,
2013,chiba,2500,ﾘﾝｸ2,
2015,osaka, ,ﾘﾝｸ3,
2016,kyoto,2100,,
2016,kobe,2200,,

これをエクセルで読込むと、下記に様に、表示位置が変わってしまいます。

列a	列b	列c	列d
製造年	産地	価格	写真ﾘﾝｸ
2016	tokyo	ﾘﾝｸ1
2013	chiba	2500	ﾘﾝｸ2
2015	osaka	ﾘﾝｸ3
2016	kyoto	2100
2016	kobe	2200

プログラムは下記の通りです。

※上記の表は例えです。プログラムの中のxpathとは相違します。

何卒、ご指導のほど宜しくお願いいたします。

# coding:utf-8
require 'nokogiri'
require 'csv'


files=Dir.glob('/Users/PCUser/work/files/*.html')
files.each do |file|
doc = Nokogiri::HTML(open(file),nil,'utf-8')

ay=[]
by=[]
cy=[]
dy=[]


a=doc.xpath ('//div[2]/center/table/tbody/tr/td[1]/font/table/tbody/tr/td[1]/font')
b=doc.xpath ('//div[2]/center/table/tbody/tr/td[1]/font/table/tbody/tr/td[2]/nobr/font')
c=doc.xpath ('//div[2]/center/table/tbody/tr/td[2]')
d=doc.xpath ('//div[2]/center/table/tbody/tr/td[9]/font/a')

a.each do |node|
ay << node.text
end

b.each do |node|
by << node.text
end

c.each do |node|
cy << node.text
end

d.css('a').each do |node|
dy << node[:href]
end

CSV.open('bo.csv','a') do |csv|
a.length.times do |z|
csv << [ay[z],by[z],cy[z],dy[z]]

end
end
end

---

補足情報(言語/FW/ツール等のバージョンなど)
Ruby 2.2.4-p230
caypybara 2.7.0

Answer 1

すみません、手元のコードで試したので微妙にセレクタを使っていたりしますが、、、
こんなイメージです。

# tdまでを取得する
doc.css('table > tr > td:nth-child(4)').each_with_index{|e,index|
 # td以下の子ノード(1)取得のためのtrのNoを作成。+1にするのはindexは0はじまり、nodeは1はじまりのため
 tr_no = index + 1
 # td以下の子ノード(1)取得
 i = doc.css('table > tr:nth-child(' + tr_no.to_s + ') > td:nth-child(4) > a')
 # 要素の検証。nillでなければhref属性取得
 if i[0].nil?
  puts 'this node is null'
 else
  puts i[0][:href]
 end
}

iamsinさんのコード上だと
①d=doc.xpath ('//div[2]/center/table/tbody/tr/td[9]/font/a')部分を
d=doc.xpath ('//div[2]/center/table/tbody/tr/td[9]')にして
②d.css('a').each do |node|
dy << node[:href]
end
を
d.each_with_index do |node,index|

end
にする形ですかね。。

がんばってください！

Comments

[mariguranule]

新しい回答として書いてしまいましたが上記コメントへの回答です(^^;)

こうする理由としては、
d=doc.xpath ('//div[2]/center/table/tbody/tr/td[9]/font/a')　とした場合、aまで指定しているので
配列に入っているのは [link1],[link2],[link3] の3つとなるんですね。
つまりnilの列がcsvに入らなくなります。
なので、aの親ノードのtd[9]までで指定すると、
配列に入っているのは [nil],[link1],[link2],[nil],[link3] の5つとなり、
csvにnilの列も書き出すことができます。

[iamsin]

ご回答いただき、誠にありがとうございます。
ご指導いただいた内容で解決できました、誠にありがとうございました。
下記のように修正しました。

d=doc.xpath ('//div[2]/center/table/tbody/tr/td[9]')

d.each_with_index{|node,index|
tr_no = (index + 1)*2+1 （取得したい行が奇数行のため）
sin = doc.xpath('//div[2]/center/table/tbody/tr['+tr_no.to_s+']/td[9]/font/a')
if sin[0].nil?
dy << 'null'
else
dy << sin[0][:href]
end
}

Answer 2

dだけ、eachではなくcss('a').eachとしているからではないでしょうか。
eachの中に条件式をいれてaがあればhref取得とすればエラーがでず正しい位置で出力できる気がします。

Comments

[iamsin]

ご返答誠にありがとうございます。

eachの中に条件式とは具体的にどのようにしたらよいでしょうか？

[iamsin]

each のなかの条件式を下記のようにしてみましたが、同じ結果でした。

iy=[]
i.each do |node|
if i.empty?
iy <<'empty'
elsif i.nil?
iy << 'nil'
else
iy << node[:href]
end
end

Answer 3

もっと、模索します。