Nokogiriで取得したテキストをUnicodeコードポイントから日本語への変換

Question

rubyのNokogiriを使用してスクレイピングをしています。
テキスト取得した際にコードポイントになってしまうようでしたので変換処理(decode_unicode)をかけたのですがうまくいかない様子です。

def decode_unicode(str)
  str.gsub(/\u([\da-fA-F]{4})/){ [$1].pack('H*').unpack('n*').pack('U*') }
end

url = ""
doc = Nokogiri::HTML(open(url), nil, "utf-8")
result = doc.css("")
  .map { |ele| decode_unicode(ele.inner_text)}

確認したところdecode_unicodeでコードポイントが正規表現にマッチしていない様子でしたが下記のようなシングルクオーテーション文字列ではマッチして変換されるようでした。

def decode_unicode(str)
  str.gsub(/\u([\da-fA-F]{4})/){ [$1].pack('H*').unpack('n*').pack('U*') }
end

uni = '\u3053\u3093\u306B\u3061\u306F'

p decode_unicode(uni)

nokogiriでの文字コードをshift_jis指定など試してみましたが
うまくいかずどなたかご教授よろしくお願いいたします。

テキスト取得した際にコードポイントになってしまうよう

と確認した部分を下記に追記いたしました。

url = "https://tabelog.com/tokyo/A1308/A130801/13098267/"
doc = Nokogiri::HTML(open(url), nil, "utf-8")
p doc.css("table.c-table.c-table--form.rstinfo-table__table")
    .css("td")
    .map { |ele| ele.inner_text }[0]

#出力結果
# "\n            \n            \u3048\u3093\n            \n            \n          "

Comments

[otn]

> テキスト取得した際にコードポイントになってしまう
これの具体的な状況を書いてください。どういう出力の仕方をして、どう出力されたか。

[tomagurosu]

追記いたしました。
よろしくお願いいたします。

Answer 1

おそらくWindows環境では？ pで出力しているためそうなります。

下記を文字コードUTF-8で保存して、実行結果を参考に修正してください。簡単には、putsすればいい。

# encoding: utf-8
a="あいう"

p Encoding.default_external
puts a
p a

Encoding.default_external = "utf-8"
p Encoding.default_external
puts a
p a

Comments

[tomagurosu]

ありがとうございます。
putsで確認できました。