Rubyで文字コードANSIのファイルを読み込んで何も変換せずencodingメソッドを使ってもUTF-8になるのはなぜですか？

Rubyで文字コードANSIのファイルを読み込んで何も変換せずencodingメソッドを使ってもUTF-8になるのはなぜですか？
ローカルのファイルを扱うときは、どの文字コードかわかりきっているので処理のコードが書けます。
しかし、例えば文字コードを知らずに外部から預かったCSVファイルでエンコードエラーが出ます。文字コードがcp932とわかっていれば、

ruby
1csvfile = CSV.read("test.csv", encoding: 'cp932:UTF-8')

と書くことができます。
しかし、例えば文字コードがANSIコードファイルをencodingメソッドを使ってもUTF-8で表示されてしまい、元の文字コードがわからない場合、どのようにして、元の文字コードを確認すればよろしいでしょうか？

行動規範の内容に同意します

回答2件

ベストアンサー

元の文字コードの確認は、
・文字コードを自動判別するエディタなどを使って開いてみる
・文字コードを指定して開けるエディタを使って、想定される文字コードを順に試してみる
等で、人間の目で見て判断します。

Rubyプログラムでも、自動判断などは可能ですが、例えばShift_JISとしてもeuc-jpとしてもあり得る文字だけからなる文字列だと、間違えて判断する可能性があります。

一応、プログラムでの方法としては、
・特定のエンコーディングを仮定して不正な文字が無いか⇒force_encodingしてscrub
・判断を任せる⇒NKF.guess

投稿2020/03/10 04:26

otn

総合スコア85901

otn

2020/03/10 04:28

> Rubyで文字コードANSIのファイルを読み込んで何も変換せずencodingメソッドを使ってもUTF-8になるのはなぜですか？については、具体的に何を言ってるのかわからないので、コードを書いてください。

say4hatii8

2020/03/10 05:15

申し訳ございません。Windowsのメモ帳で「a,1(改行)i,2」と書いて、文字コードを「ANSI」で、ファイル名を「test.csv」で保存します。そして、test.rbを作成し、コードはf = File.read("test.csv")(改行)p f.encoding こちらをcmdで「ruby test.rb」すると結果が#<Encoding:UTF-8>になってしまいます。

maisumakun

2020/03/10 05:21

> 結果が#<Encoding:UTF-8>になってしまいます。何か問題があるのでしょうか？ASCIIはUTF-8の部分集合なので、ASCIIだけのテキストファイルをUTF-8と解釈してもまったく矛盾しません。

otn

2020/03/10 05:39

> すると結果が#<Encoding:UTF-8>になってしまいます。それはファイルの中身を見ているわけじゃないです。 open時に指定されたエンコーディング、あるいは指定されていない場合は、default_externalが使われます。 > Windowsのメモ帳で「a,1(改行)i,2」だと、いわゆる半角文字のみ(US-ASCII)なので、US-ASCII、UTF-8、Shift_JIS、euc-jpなど全部共通部分なので、どれでも合ってます。

say4hatii8

2020/03/10 05:40

何度も申し訳ございません。サンプルを雑にしてしまいました。正確には、「伝票番号,地域,電話番号 0001,札幌,011-00 0002,仙台,022-00 」というcsvだとします。あと私が理解していませんでした。以前ANSIについて調べたところ、Shift_JISやcp932と記載がありましたので、UTF8ではないと思っていました。

say4hatii8

2020/03/10 05:42

ありがとうございます。「ファイルの中身を見ているわけじゃない」「default_external」こちらも知らなかったです。私が理解不足でメソッドを使用しているからですね。申し訳ございません。

otn

2020/03/10 05:43

> サンプルを雑にしてしまいました。それではさっきのコメントの後半は関係ないです。 > UTF8ではないと思っていました。 ANSIはUTF-8じゃないですよ。

say4hatii8

2020/03/10 05:58

申し訳ございません。文字コードについてもう一度自分で調べてみます。

行動規範の内容に同意します