テキストファイル読み込みで日本語がどうしても文字化けします。

Question

C#を学習しています。
Windows10でC:￥data￥の場所に
メモ帳で「犬も歩けば棒に当たるabc0123」と記入し作成したテキストファイルを
StreamReaderクラスのReadToEndメゾットで読み込もうとすると
ファイルの読み込みまでは上手くいくのですが、日本語が文字化けします。（日本語offのアルファベットと数字は問題なし、日本語ソフトIMEはATOK2014を使用）
文字コードの指定に問題があるのかと思い、以下のようにファイルの文字コーディングを変更してみて試してみたのですが上手くいきません。
どのようにすれば文字化けせずに読み出すことが出来るのでしょうか？
すみませんがどうぞよろしくお願いいたします。

using System.IO;
//中略
{
   using (var reader = new StreamReader(@"c:\data\sample.txt"))
       {
         //Console.WriteLine(reader.ReadToEnd(),Encoding.GetEncoding("UTF-8"));//日本語化ける
         //Console.WriteLine(reader.ReadToEnd(),Encoding.GetEncoding("Shift-JIS"));//日本語化ける
         //Console.WriteLine(reader.ReadToEnd(),Encoding.GetEncoding("Shift_JIS"));//日本語化ける
         //Console.WriteLine(reader.ReadToEnd(),Encoding.GetEncoding("ASCII"));//日本語化ける
         //Console.WriteLine(reader.ReadToEnd(),Encoding.GetEncoding("CP932"));//サポート外
                }
            }

Comments

[papinianus]

Console.WriteLine("犬も歩けば棒に当たるabc0123");とした場合、文字化けしないのでしょうか？コンソールのフォントの可能性を考えての質問です。

[ikadzuchi]

どのように化けますか?

[Miyahala]

Console.WriteLine("犬も歩けば棒に当たるabc0123");とした場合は問題なく表示されます。
文字化けの様子を記述していませんでした、情報足りずで申し訳ありません。
？？？？？？？Z？？？？？？？abc0123
と言うふうに表示されます、文字コーディングをいくつか変更して試してみましたが同じでした。
ここまで多くの方にアドバイスを頂き感謝致します、頂いたアドバイスを参考に引き続き自分の方も原因を調べます。

Answer 1

まずは、そのテキストファイルの文字コードがなにか確認しましょう
UTF8とShiftJISでしか確認してないようですが、その他の文字コードかもしれません

んで、encode指定はStreamReaderのコンストラクタで指定する必要がありますねー

Comments

[wwbQzhMkhhgEmhU]

y_waiwaiさんのおっしゃるとおり、読み込み側の設定が必要です。
ConsoleにStringを書くときにわざわざEncodingを指定する必要はありません(I/Fもない)。

[Miyahala]

それぞれの方のアドバイスが役に立ち、ベストアンサーを選ぶのが難しかったのですが、「encode指定をStreamReaderのコンストラクタで指定する必要がある」というのが一番大きかったと思うので、今回ベストアンサーに選ばせていただきます。他の方も含め本当にありがとうございました。

Answer 2

こんにちは。

まず、Console.WriteLine()に文字コード指定機能は無いようです。つまり、記載されているコードは全て意図通りには動作していません。（文字コード指定できていない。）

テキスト読み出し時の文字コードは、TextReaderのコンストラクタで指定します。指定しなかった時のデフォルトの記載を見つけることができなかったのですが、恐らくANSIと思います。（Windowsのデフォルトがそうですので。）
この場合、日本語であれば Shift-JIS（CP932）でエンコードされていれば文字化けせずに読み出せます。
さて、メモ帳のデフォルトはANSIなので、Shift-JIS（もしくはCP932）で保存されているだろうと思います。

ということは、メモ帳のデフォルトで保存すれば読み出しでは文字化けしていない筈です。
となると出力時に文字化けしている筈です。

最近、Windows 10のコマンドプロンプトの仕様が変わったようです。Consoleへも影響している可能性があります。コマンドプロンプトの設定を変更後、再度トライしてみて下さい。
なお、Windowsの再起動は不要な筈ですが、念の為に設定変更後再起動しておくと確実です。

Comments

[tamoto]

横からですが、StreamReaderのデフォルトではUTF-8が使用されます。

[Chironian]

tamoteさん
フォローありがとうございます。
ということは、読み出し時点でも化けている可能性が有りますね。

Miyahalaさん。
メモ帳で保存する際に、文字コードを選択できますので、UTF-8で保存されてみて下さい。
指定方法はtakabosoftさんが書かれている通りです。

Answer 3

ファイル中のエンコーディング、出力するエンコーディング、コンソールのエンコーディングの三つを合わせなくてはいけません。
三つとも確かめてみてください。

まずメモ帳で該当ファイルを開き、名前を付けて保存を選んで文字コードに何が選ばれているか確認してください。
次に Console.OutputEncoding.WebName と Console.OutputEncoding.CodePage を表示して出力エンコードを確認してください。
それからコンソールで chcp を実行してそれを確認してください。

Answer 4

テキストファイルを一気に読むならSystem.IO.File.ReadAllText メソッドを使ったほうが楽な気がします。
こちらも読み込み時に文字コードを指定できます。

なんの文字コードが使われているかは
メモ帳で実際にそのファイルを開いてから、「名前を付けて保存」で出てくるファイル保存画面の
下の方で確認できます。

Answer 5

？？？？？？？Z？？？？？？？abc0123

なるほど。
たぶん「???????Ζ_???????」ですね。(Ζ:ゼータ)
・Shift_JISで保存したテキストを
・UTF-8として読み
・Shift_JIS内の文字しか表示できないコンソールに表示した
ような化け方です。
ファイルに保存する文字コードをUTF-8にすればきっと解決すると思います。

Answer 6

多くの方にアドバイスを頂き、ありがたい限りです。
頂いたアドバイスに基づき色々して見た結果、皆さんの言われるとおり２つの点に誤りがありました。

＜１，コードの書き方に誤りがある、＞

Encode指定の方法の誤り、EncodeはStreamReaderのコンストラクタで指定する。

＜２，呼び出し元のテキストファイルの文字コードがANSIであること＞

メモ帳の名前を付けて保存のデフォルトはANSIであるからそこをUTF8に変更

・・・でした。

調べている途中から目標が変わってWindowsメモ帳デフォルトのANSIのままで読み込み出来ないか色々試してみましたがそこはサジを投げました。

 　using System.IO;
//中略　
　　　{
        using (var reader = new StreamReader(@"c:\data\sample.txt", Encoding.UTF8))
                {
                    Console.WriteLine(reader.ReadToEnd());
                }
   　　}
//ANSIで読み込もうとすると・・・???????Z_???????abc0123
      {
        using (var reader = new StreamReader(@"c:\data\sample.txt", Encoding.ASCII))
                {
                    Console.WriteLine(reader.ReadToEnd());
                }
      }
//ANSIで読み込もうとすると・・・???????????_???????????
       {
        using (var reader = new StreamReader(@"c:\data\sample.txt", Encoding.Unicode))
                {
                    Console.WriteLine(reader.ReadToEnd());
                }
        }
//ANSIで読み込もうとすると・・・?☆（怪しげな外国語）and（思いっきり環境依存文字）（株）
        {
         using (var reader = new StreamReader(@"c:\data\sample.txt", Encoding.UTF32))
                {
                    Console.WriteLine(reader.ReadToEnd());
                }
        }
//ANSIで読み込もうとすると・・・??????
        {
         using (var reader = new StreamReader(@"c:\data\sample.txt", Encoding.UTF7))
                {
                    Console.WriteLine(reader.ReadToEnd());
                }
        }
//ANSIで読み込もうとすると・・・?(ギリシャ語？)?a?a-?I?_?E?????eabc0123

//Shift-JISとCP932とANSIはコンストラクタに記述しようとすると、Encodingに定義なしと警告される。

皆さんのアドバイスがなければ自分では解決は出来ませんでした、どうもありがとうございました。

Comments

[y_waiwai]

サクラエディタなどのテキストエディタを使えば文字コードを変えたりできるので、ファイルの中身はなんの文字コードかを調べれますぜ

[Zuishin]

メモ帳でもできますよ。

それはともかく回答のおかげで解決できたなら自己解決ではなく最も役立ったものをベストアンサーに選んでください。

[lain]

Shift-JISファイルなら、 StreamReader(@"c:\data\sample.txt", Encoding.GetEncoding("shift_jis"))

[Miyahala]

ありがとうございます！

あと自己解決でコメントしてしまったにベストアンサーを選べなくなってしまい申し訳ありません。

[Zuishin]

選びなおせます。