Shift_jis(CP932) -> UTF-8へのcsvの変換機能

Question

やりたい事

RoRアプリケーションの開発の中で、csvを作成する機能があります。
複数のcsvの変換不可の文字を取り扱いたい

困っている事

csvを作成する際、Shift_jisからUTF-8に変換をして、csvを作成したいのだが、
Shift_jisからUTF-8の変換不可文字をどのように選定して、実装すれば良いのでしょうか。

同時に、変換不可時のエラー処理も実装出来たらいいなと思っています。

Answer 1

Shift_jisからUTF-8の変換不可文字

は、無いと思うのですが、何かありますでしょうか？
逆はたくさんありますが。

Comments

[asm]

波ダッシュとバックスラッシュがどう変換されるのかには注意が必要ですかね

[nako01]

Shift_jisの範囲外の文字の対処をしたかったです！

[Y.H.]

> Shift_jisの範囲外の文字の対処をしたかったです！
「Shift_jisからUTF-8の変換」に於いてソースとなるのが「Shift_jis」なので
「Shift_jisの範囲外の文字」は存在しないので対処する必要ないのでは？
ということです。

cp932(MS932) - Shift_jis の部分のことを問われてます？

[nako01]

その部分です！
はしご高などは、範囲外ですね。

Answer 2

基本的には以下のようなメソッドで変換エラー時の例外を捕捉するなりして対応すると思うのですが、どうでしょう。変換のオプションを指定することで様々な対応が取れます。
instance method String#encode - Ruby 2.7.0リファレンスマニュアル

Ruby on Railsやその他特有の事情があるのであれば上記では対応しきれないのかもしれませんが、ご参考まで。

Comments

[dodox86]

他の方々が実務においてどのような対応を取られているのか、個人的に興味のあるご質問です。

[nako01]

ありがとうございます！
こちらの記事を参考に実装してみます。

gemで　'charlock_holmes'というものがあるみたいですが、こちらでも実装してみます！

[nako01]

アドバイスありがとうございました。。！
とりあえず、解決は致しました！

[nako01]

一応解決は致しましたが、、無理やり感が半端ないので、もし、何か他に不足な点がございましたら、
ご教授お願い致します！

Answer 3

沢山のアドバイスありがとうございました！！
自己解決致しましたので、記載致します。

そもそも、Shift_jisからUTF-8の変換時に起こるエラーは少なく、
やりたい事としてはShift_jisの範囲外の文字をどう対処するか。

Shift_jisの範囲外の文字 →　「髙、①」などのShift_jisに存在しない旧文字。

・Shift_jisで書かれたcsv(髙を含む)をUTF-8に変換する際、 "\xFB\xFC" from Shift_JIS to UTF-8このようなエラーが出るかと思います。
これは、Shift_JIS の範囲外の文字が含まれていますよ。というエラー。

なので、私は、Shift_jisからUTF-8に変換するのではなく、
強制的に、最初からUTF-8として読み込んでもらう事にしました！

①

CSV.foreach({ファイル名}, encoding: "Shift_JIS:UTF-8", headers: true) do |row|

CSV.parse(NKF::nkf('-w',File.read({ファイル名})), headers: true) do |row|

これで、解決。。！

だが、もっと簡単な方法が。。(コメント欄にてアドバイスを頂きました。(というか、、回答を。。！))
上記の回答は、遠回りしていたので、、
②

CSV.foreach({ファイル名}, encoding: "CP932:UTF-8", headers: true) do |row|

CP932:UTF-8のところCP932を指定するだけで、エラーを出す事なく変換出来ました！

※②の場合は、windowsで作られたファイルを考慮していないので、
windowsで作られたファイルの場合はエラが起きます。

mac,windowsと両方を対応したいのであれば、やはり①の実装が好ましい。

Comments

[Y.H.]

> encoding: "Shift_JIS:UTF-8"
encoding: "CP932:UTF-8"
にするだけで対応できませんか？

[nako01]

!!で、出来ました。。！
何故なのでしょう・・・。

一週間ずっと考えていたのですが、、まさかです。
ありがとうございます

[nako01]

記事も編集させて頂きました！ありがとうございます！

[Y.H.]

> 何故なのでしょう・・・。
以下に関連する情報へのリンクを記載しておきますので一読お勧めします。

Shift_JIS, CP932についてはこちら
https://ja.wikipedia.org/wiki/Shift_JIS
https://ja.wikipedia.org/wiki/Microsoft%E3%82%B3%E3%83%BC%E3%83%89%E3%83%9A%E3%83%BC%E3%82%B8932

RubyでのEncoding::CP932についてはこちら
https://docs.ruby-lang.org/ja/latest/method/Encoding/c/CP932.html

[nako01]

ありがとうございます！