コンソールに日本語をキレイに出力したい

Question

Ⅰ. やりたいこと

ファイルを読み込み、コンソールに日本語をキレイに出力したいです。

以下の画像が理想の出力です。

Ⅱ. 発生している問題

• ファイル形式がUTF-8の場合

文字化けしてしまいます。

abc
縺 ゅ ＞ 縺 ・ ∴ 縺

• ファイル形式がShift-JIS の場合

日本語が表示されますが文字と文字の間に半角スペースと思われるものが入っています。
本当に半角スペースなのかは分かっていません。

aiueo
あ い う え お

Ⅲ. プログラム

• test.txt

abc
あいうえお

• Source.cpp

int main()
{
  // ファイルをすべて読み込む
  ifstream ifs("test.txt");
  string str((istreambuf_iterator<char>(ifs)), istreambuf_iterator<char>());

  // 出力する
  cout << str << endl;

  return 0;
}

Ⅳ. 試したこと

• setlocale(LC_ALL, "ja_JP.UTF-8");

変化なし

• std::wcout.imbue( std::locale( "", std::locale::ctype ) );

変化なし

• setlocale( LC_CTYPE, "" );

変化なし

• wchar_t にする

変化なし

wifstream ifs("test.txt");
wstring str((istreambuf_iterator<wchar_t>(ifs)), istreambuf_iterator<wchar_t>());
wcout << str << endl;

Ⅴ. 環境

• Windows 10 64bit Version 1703
• Visual Studio 2017 (v141)

Answer 1

Shift-JIS

#include <iostream>
#include <fstream>
#include <string>

ifstream ifs("shift-jis.txt");
string str((istreambuf_iterator<char>(ifs)), istreambuf_iterator<char>());

cout << str << endl;

UTF-8(BOMなし）

#include <iostream>
#include <fstream>
#include <string>
#include <codecvt>

setlocale(LC_ALL, "");

wifstream ifs("UTF-8N.txt");
ifs.imbue(locale(locale::empty(), new codecvt_utf8<wchar_t>));
wstring str((istreambuf_iterator<wchar_t>(ifs)), istreambuf_iterator<wchar_t>());

wcout << str << endl;

UTF-8(BOMあり）

#include <iostream>
#include <fstream>
#include <string>
#include <codecvt>

setlocale(LC_ALL, "");

wifstream ifs("UTF-8(BOM).txt");
ifs.imbue(locale(locale::empty(), new codecvt_utf8<wchar_t, 0x10ffff, consume_header>));
wstring str((istreambuf_iterator<wchar_t>(ifs)), istreambuf_iterator<wchar_t>());

wcout << str << endl;

UTF-16 リトルエンディアン (BOMなし)

#include <iostream>
#include <fstream>
#include <string>
#include <codecvt>

setlocale(LC_ALL, "");

wifstream ifs("UTF-16LEN.txt");
ifs.imbue(locale(locale::empty(), new codecvt_utf16<wchar_t, 0x10ffff, little_endian>));
wstring str((istreambuf_iterator<wchar_t>(ifs)), istreambuf_iterator<wchar_t>());

wcout << str << endl

UTF-16 リトルエンディアン (BOMあり)

#include <iostream>
#include <fstream>
#include <string>
#include <codecvt>

setlocale(LC_ALL, "");

wifstream ifs("UTF-16LE(BOM).txt");
ifs.imbue(locale(locale::empty(), new codecvt_utf16<wchar_t, 0x10ffff, consume_header>));
wstring str((istreambuf_iterator<wchar_t>(ifs)), istreambuf_iterator<wchar_t>());

wcout << str << endl;

UTF-16 ビッグエンディアン (BOMなし)

#include <iostream>
#include <fstream>
#include <string>
#include <codecvt>

setlocale(LC_ALL, "");

wifstream ifs("UTF-16BEN.txt");
ifs.imbue(locale(locale::empty(), new codecvt_utf16<wchar_t>));
wstring str((istreambuf_iterator<wchar_t>(ifs)), istreambuf_iterator<wchar_t>());

wcout << str << endl;

UTF-16 ビッグエンディアン (BOMあり)

#include <iostream>
#include <fstream>
#include <string>
#include <codecvt>

setlocale(LC_ALL, "");

wifstream ifs("UTF-16BE(BOM).txt");
ifs.imbue(locale(locale::empty(), new codecvt_utf16<wchar_t, 0x10ffff, consume_header>));
wstring str((istreambuf_iterator<wchar_t>(ifs)), istreambuf_iterator<wchar_t>());

wcout << str << endl;

Comments

[Chironian]

すいません。気になるので1点教えてください。
「Shift-JIS」の内容は質問文の内容と特に変化がないようにみえますが、setlocale(LC_ALL, "");の書き忘れでしょうか？

→あっと、can110さんへのコメントで理解しました。

Answer 2

Win10(1703)+VS2017で再現しました。
プロジェクトの文字セットはデフォルトの「Unicode文字セットを使用する」です。
よって、setlocaleではなく_tsetlocaleを呼び出すことで、こちらの環境では解消しました。
文字セットを切り替えないなら_wsetlocaleでも良いはずです。

追試

setlocale,_tsetlocale,_wsetlocaleのいずれかを呼び出すと、こちらの環境では解消しました。
いずれも呼び出さないと再現します。

#include <iostream>
#include <fstream>
#include <string>
using namespace std;
int main()
{
	_tsetlocale(LC_ALL, _T(""));

	// ファイルをすべて読み込む
	ifstream ifs(_T("test.txt"));
	string str((istreambuf_iterator<char>(ifs)), istreambuf_iterator<char>());
	// 出力する
	cout << str << endl;
	return 0;
}

Comments

[Chironian]

プロジェクトの文字セットの設定は、明示的にnarrow文字列を使っている時には影響しないはずです。
でも、1703で再現し、setlocaleが必要ということは、1703で何か仕様が変わっていそうですね。
私のWindows 10は1607でした。

[8524ba23]

setlocaleは試していなかったですが、これでも解消しました。
ちょっと理由が分からない動きですが。。。
こちらでは1703未満の環境ないので確認できないのですが
コマンドプロンプトの動作が変わったのかもしれませんね。

[aglkjggg]

ご回答ありがとうございます。

■Shift-JIS について
PCを再起動してもう一度確認した所半角スペースの様なものが出現するのは再現しなくなってしまいました。
再起動後もWindows 10 ver 1703 から変わっていませんでした。
（解決したのはいいのですが、なぜ半角スペースの様なものが出ていたのか原因が辿れなくなりました…）

■プロジェクトの文字セットについて
プロジェクトの文字セットの内容にかかわらず同じ動作が確認できました。
プロジェクトの文字セットは今回の件とは関係ないようです。

■_tsetlocale()について
_tsetlocale には tchar.h が必要なようなので、
#include <tchar.h> を追加して試してみましたが結果的にUTF-8やUTF-16のようなunicodeの場合 _tsetlocale() だけでは不十分でwifstreamにimbueで明示的にロケールを設定する必要がありました。

また、こちらの環境でも上記のロケール設定に加えて、
setlocale, _tsetlocale, _wsetlocale のいずれかを呼び出せば解決しました。

自己解決という項目でまとめを投稿させていただきました。
（コメントではMarkdownが使えないので…）

[8524ba23]

自己回答について了解しました。
再起動により再現しなくなったとすると、コマンドプロンプト内部で保持している状態（設定）によって挙動が変わる感じですね。何だかもやもやしますが。

Answer 3

こんにちは。

ファイル形式がShift-JIS の場合

日本語が表示されますが文字と文字の間に半角スペースと思われるものが入っています。
本当に半角スペースなのかは分かっていません。

手元ではShift-JISなら文字化けしないし、文字と文字の間もあきませんでした。原理的にもShift-JISで入力し、Shift-JISで出力すれば文字化けしない筈です。test.txtの内容を確認されて見て下さい。

abc
あいうえお

wchar_tを使うならば、test.txtをUTF-16のリトルエンディアンで保存すれば文字化けしないはずです。
なぜなら、C++は自動的な文字コード変換には対応していません。
そして、Visual C++のwstringはUTF-16がデフォルトですので、UTF-16で保存しておけば適切に動作する筈です。
なお、この場合はstd::wcout.imbue(std::locale(""));が必要です。

---

先週、この辺の問題について記事を書きました。文字コードとVisual C++の悩み
もし、良かったら参考にして下さい。

---

【追記】
気になるので、wifstreamの動きをみてみました。
下記プログラムでUTF-16LEファイルを読ませると、wstringの1文字にファイル上の1バイトが読み出されていました。MinGW、および、ubuntu上のg++でも同様でした。
何も指定しない場合は、テキスト・ファイルがASCIIでエンコードされていると解釈して読み取る仕様のようです。

#include <fstream>
#include <iostream>
#include <string>
#include <iomanip>
using namespace std;

int main()
{
    setlocale(LC_ALL, "");
    wifstream ifs("test3.txt");
    wstring str((istreambuf_iterator<wchar_t>(ifs)), istreambuf_iterator<wchar_t>());
    wcout << str << endl;

    wcout << endl << str.size() << endl;
    for (auto i : str)
        wcout << hex << (int)i << "\n";

    return 0;
}

Comments

[aglkjggg]

ご回答ありがとうございます。

<s>
Shift-JIS については、
「従来のコンソールを使う」のチェックが「オン」になっている場合期待通りの動作をしました。
「オフ」になっている場合は質問時の画像の様にスペースの様なものが入ります。
質問時のプログラムから変更はありません。
http://i.imgur.com/k6VU2Oo.png
</s>
すみません。
PCを再起動してもう一度確認した所チェックは関係ありませんでした。
半角スペースの様なものが出現するのは再現しなくなってしまいました。
（解決したのはいいのですが、なぜ半角スペースの様なものが出ていたのか原因が辿れなくなりました…）

UTF-8については、
「従来のコンソールを使う」のチェックに関わらず期待通りの動作をしました。
プログラムは画像のとおりです。
http://i.imgur.com/Oq0C2uF.png

UTF-16については、
UTF-16 リトルエンディアンのテキストファイルを用意してみましたが期待通りの動作をしませんでした。
以下の画像になってしまいました。
プログラムは画像のとおりです。
http://i.imgur.com/57xBKVF.png
http://i.imgur.com/H0WDDBm.png

[Chironian]

私のところでは、「従来のコンソールを使う」はOFFのままでした。
can110さんによると1703で再現したということですが、私のWindows 10は1607のため、再現しないと言うことかも知れません。
この辺の動きが1703で変わっているとしたら、今のところ私の方では確認できないです。

UTF-8でうまくいく件はcodecvtをimbueで指定したことないので、良く分かりません。

[Chironian]

あと、どうもwifstreamの動作について私は思い込みがあったようです。すいません。
特になにも指定していないにも関わらず何か処理するようですね。