rubyでバイナリデータをテキスト化

Question

###前提・実現したいこと
送信元の文字コードsjisで送付されてきたバイナリデータをUTF-8に変換して表示したい

###発生している問題・エラーメッセージ
サーバ間で全角・半角含むメッセージをバイナリデータでやりとりしていますが、
送信元がsjisの場合、受信側（utf-8）と文字コードが合わずうまく表示できません。

そもそも今使用しているコマンドがrubyとはまったく関係ないのですが、
これをrubyで実施するにはどのようにしたら良いでしょうか。

（コマンド例）
  送信元文字列：こんにちは
  コマンド：echo -n '82 b1 82 f1 82 c9 82 bf 82 cd' |xxd -r -p
  実行結果：ｱ・ｿﾍ

###該当のソースコード

（正常に処理される場合）
  コマンド：echo -n 'e3 81 93 e3 82 93 e3 81 ab e3 81 a1 e3 81 af' |xxd -r -p
  実行結果：こんにちは

（処理されない場合）
  コマンド：echo -n '82 b1 82 f1 82 c9 82 bf 82 cd' |xxd -r -p
  実行結果：ｱ・ｿﾍ

###試したこと
まずはバイナリデータをテキスト化（sjis）した後に
そのテキストをUTF-8にすれば良いのかと思っていますが、
sjisにどのようにしたら良いかわかりません。

###補足情報(言語/FW/ツール等のバージョンなど)
サーバOS：RHEL7
ruby：ruby 2.0.0p598

Answer 1

厳密な変換をめざさないなら、こんなコードは如何でしょう。

a.rb

require 'kconv'

s = [STDIN.read.gsub(/\s/,"")].pack("H*").to_s
guess = Kconv.guess(s)
p guess.to_s

# 自動判別して変換
puts Kconv.kconv(s, Kconv::UTF8)
puts s.toutf8

# 実行例
# $ echo -n '82 b1 82 f1 82 c9 82 bf 82 cd' | ruby a.rb
# "Shift_JIS"
# こんにちは
# こんにちは
#
# $ echo -n 'e3 81 93 e3 82 93 e3 81 ab e3 81 a1 e3 81 af' | ruby a.rb
# "UTF-8"
# こんにちは
# こんにちは

Comments

[happydiver_tera]

遅くなり申し訳ありません。
ご回答ありがとうございました。
参考にさせていただきます。

Answer 2

Rubyでは入力時にエンコードを指定することができます。また、文字列自体もエンコードの情報を持っています。標準入力やファイルからの入力であれば、open()時またはIO#set_encoding()で、どのようのエンコードを入力して、どのようなエンコードの文字列にするかを指定できます。

echo -n '82 b1 82 f1 82 c9 82 bf 82 cd' |xxd -r -p \
| ruby -e '$stdin.set_encoding("Windows-31J:UTF-8"); puts gets'

詳しくはマニュアルのIOクラスについて参照してください。

サーバ間ということはTCP/IP通信かもしれませんが、TCPSocketもIOのサブクラスですので、同様に処理が可能です。

require 'socket'
gs = TCPServer.open('localhost', 10610)
loop do
  Thread.start(gs.accept) do |s|
    s.set_encoding('Windows-31J:UTF-8')
    while line = s.gets
      puts line.chomp
    end
    s.close
  end
end

上のRubyスクリプトを実行するとTCPのサーバ(localhost:10610で)が起動しますので、

echo -n '82 b1 82 f1 82 c9 82 bf 82 cd' |xxd -r -p | nc localhost 10610

とコマンドを実行してみると、ちゃんと「こんにちは」とサーバ側で表示されるのが確認できます。

なお、単純にShift_JISといってもいくつかの種類(亜種)がありますので、ご注意ください。

• Shift_JIS … IANAに登録されている本家のShift_JIS。
• Windows-31J … WindowsでのShift_JIS。別名CP932。Windowsの機種依存文字が使える。
• MacJapanese … 旧MacでのShift_JIS。旧Macの機種依存文字が使える。
• SJIS_DOCOMO, SJIS_KDDI, SJIS_SOFTBANK … 携帯電話各社の絵文字を含むShift_JIS。

現在でも使われているのはWindows-31Jのみのため、通常はWindows-31Jを使用することを推奨します。

Comments

[happydiver_tera]

ご回答ありがとうございました。
コメントが遅くなり大変申し訳ありません。
「Windows-31J … WindowsでのShift_JIS。別名CP932。Windowsの機種依存文字が使える。 」
文字コードは非常に難しいですね。
特に上記、参考にさせていただきます。

Answer 3

Rubyにこだわらないのであれば、nkf等を使うのが楽です。

echo -n '82 b1 82 f1 82 c9 82 bf 82 cd' | xxd -r -p | nkf -Sw
とか
echo -n '82 b1 82 f1 82 c9 82 bf 82 cd' | xxd -r -p | iconv -f Shift_JIS -t utf-8

Rubyで書くとして、nkf/iconv の所をRubyにするのか、xxd の部分も含めてRubyにするのかどちらでしょう？

追記：
Rubyで書くと、

echo -n '82 b1 82 f1 82 c9 82 bf 82 cd' |
ruby -e 'print [STDIN.read.gsub(/\s/,"")].pack("H*").force_encoding(Encoding::Shift_JIS).encode(Encoding::UTF_8)'

Comments

[happydiver_tera]

ご回答ありがとうございます！
コマンドサンプルもありがとうございました。
こういう風にすれば良かったんですね。非常に勉強になりました。

rubyにするという点ですが、
xxdの部分も含めて
外部のコマンドを使うのではなく、
もっとスマートに書けるのではないかと思っていました。

[otn]

外部コマンドを使う以上にスマートには書けないですね。