テキストファイルに文字コードで記述されたデータを日本語に変換して出力したい

Question

moji = "\u97F3\u9806(\u6607\u9806)"
puts moji

上記のコードだと自分の環境では"音順(昇順)"と出力されて、これは期待通りなのですが

"\u97F3\u9806(\u6607\u9806)"

テキストファイルに上記のように記述して、このファイルを読み込んでrubyのプログラムで出力した場合、そのまま"\u97F3\u9806(\u6607\u9806)"となります。
文字コードを指定しても同じです。

path = "テキストファイルのパス"
File.open(path) do |f|
    f.each_line do |line|
        puts line.force_encoding("utf-8") 
        # 出力 "\u97F3\u9806(\u6607\u9806)"
    end
end

ファイルに書き込まれたコードポイントの文字列を

puts 0x97F3.chr("UTF-8")

のように文字を分解し一文字ずつ出力すれば期待通りの動作にはなるのですが、もっと良い方法がないかと思い質問しました。

ruby 2.2.4を使用しています。

Comments

[maisumakun]

「どのような理由で」そういった処理をしたいのでしょうか。

[mtdsnsk]

yamlファイルに日本語が"\u97F3\u9806(\u6607\u9806)"形式で記述されているのですが、その文字列が何かを調べるためです。具体的にはUnityのシーンファイルの中身でテキストとして使われている日本語を精査するためにyamlファイルを解析するためです。

Answer 1

JDKがインストールされていれば、以下のコマンドが使えます。

$ echo "\u97F3\u9806(\u6607\u9806)"|native2ascii -reverse
音順(昇順)

なお、JDK1.9では廃止された模様…

Comments

[mtdsnsk]

ありがとうございます。JDKをインストールした環境で試して見たいと思います！

[KSwordOfHaste]

JDK9からresource bundleのデフォルトエンコーディングがUTF-8になったから廃止になったのですね。
ちなみにJDK9からはJDK1.9とは言わないような気がします。

Answer 2

line = '\u97F3\u9806(\u6607\u9806)'
puts line
# 以下だと式展開を埋め込まれると厄介
# puts eval "%\0#{line}\0"
puts line.split('#').map{|s| eval "%\0#{s}\0"}.join('#')

• \0を区切り文字にした%リテラルを用いる
• #{}による式展開を無力化

することでほぼ安全にevalを実行できている(はず

Comments

[mtdsnsk]

こちら意図通りに出力されました！大変助かりました。ありがとうございます！
%リテラルを用いるために文字列分解して整形する手間を入れればよかったのですね。

Answer 3

ファイルの中で、前後に二重引用符が付いているなら、

require "json"

path = "テキストファイルのパス"
File.open(path) do |f|
    f.each_line do |line|
        data = JSON[line]
        puts data
    end
end

二重引用符が付いてない場合は、前後に付けてからJSON[～]で。

Comments

[mtdsnsk]

こちらも意図通りに動作しました！
完結&迅速なご回答ありがとうございました！

[otn]

evalを使わない簡単な方法があるのに、好き好んでevalを使わない方が良いです。

[mtdsnsk]

おっしゃる通りです、evalよりもこちらの方法がスマートに思いました。
こちらの回答拝見する前にベストアンサーを決めてしまいました。

Answer 4

テキストファイル.txt
\u97F3\u9806(\u6607\u9806)

moji = File.open("テキストファイル.txt").read
eval "text = \"#{moji}\""
puts text #=> "音順(昇順)"

Comments

[mtdsnsk]

こちらも`puts eval "text = \"#{moji}\"`と修正して意図通りに動作することを確認しました。
ご回答ありがとうございました。大変助かりました。

Answer 5

こう書き換えてやればいいでしょう

"&#x97F3&#x9806(&#x6607&#x9806)"

Comments

[mtdsnsk]

こちら時間がなくて試しておりませんでした！ご回答ありがとうございました。
参考にさせていただきます。

Answer 6

"\u97F3\u9806(\u6607\u9806)"

テキストファイルに上記のように記述して、このファイルを読み込んでrubyのプログラムで出力した場合、そのまま"\u97F3\u9806(\u6607\u9806)"となります。

文字コードを指定しても同じです。

そらそうでしょうね。

テキストファイルにエディタなどで書き込むのなら、UTF-8を指定してファイルを作成し、そこに直接「音順(昇順)」と書き込まないとプログラムで読み出しても期待通りにはなりません。
"\u97F3\u9806(\u6607\u9806)"と書き込むということはその通りに書き込むということですから。

わかりますか？

Comments

[mtdsnsk]

わかります。
なので、質問の内容が、UTF-8の文字コードが直接記述されたファイルの中身を、日本語に変換して出力したいになっております！