u16String表記のファイルをifstreamで開きたい

Question

C++でu16Stringを使ったファイル名で、ifstreamを作成したいのですが
文字コードの変換がうまくいかず、困っています。
どうしたらifstreamをu16Stringの日本語パス指定で使えるようになるでしょうか。
ご指摘、よろしくお願いします。

※wstring_convertでchar16_tを引数にするのは避けます。理由はVS2015のバグです。
https://connect.microsoft.com/VisualStudio/feedback/details/1348277/link-error-when-using-std-codecvt-utf8-utf16-char16-t

//abc.pdfだとうまくいく
u16string utf16Str = u"C:\a\bbb\test_file\土壇場.pdf";


std::wstring_convert<std::codecvt_utf8<uint16_t>, uint16_t> utf8Conv;
	
	
std::string utf8Str = utf8Conv.to_bytes(reinterpret_cast<const uint16_t*>(utf16Str.c_str()));
	
	
	
std::ifstream fin;

	fin.open(utf8Str, ios::binary);

	if (!fin)
	{
//日本語ファイル名の場合のみfalseになる
		cout << "false" << endl;
	}

Answer 1

<codecvt>というヘッダー自体はC++17で非推奨となります。

ICUといった文字コード変換ライブラリを使うことが推奨されています。
ICU - International Components for Unicode

Comments

[Chironian]

なんと！！　「C++17で非推奨」は知りませんでした。情報ありがとうです。

Answer 2

Unicodeを考えると泥臭いハックが必要です。なおすでに指摘があるように、C++標準での文字コード変換は事実上死んだので使用しないでください。

Windows

Visual Studio

std::basic_ifstreamのコンストラクタがconst wchar_t*を受け取る独自拡張があります。またchar16_tとwchar_tは同じバイナリ列なので単にポインタのキャストでいいです。

u16string utf16Str = u"C:\a\bbb\test_file\土壇場.pdf";

std::wifstream fin(reinterpret_cast<const wchar_t*>(utf16Str));

その他のコンパイラ

VSのような独自拡張はないので、
そろそろWindowsでUTF-16とShift-JISの変換方法をC++erらしくまとめようか - Qiita
のようにWIN32APIを呼び出してCP932に変換しましょう。iconvでもいいですがその場合はshift_jisではなくcp932です、ご注意を。

Linux

やはりそのような拡張はないので変換が必要です。だいぶ前からLinuxはUTF-8なので、naohiro19_氏指摘のとおりicuなんかで変換してあげましょう。

Answer 3

こんにちは。

微妙に異なるコードですがuint16_tではなくwchar_tで同様な処理をVisual Studio 2015でやった時はうまくいきました。あまり密なテストはしてないので「土壇場」だとダメという可能性はあります。

inline std::string convertUtf16ToUtf8(wchar_t const* iString)
{
    std::wstring_convert<std::codecvt_utf8<wchar_t>, wchar_t> converter;
    return converter.to_bytes(iString);
}

後は、単に当該日本語ファイル名が微妙に違っている可能性もあるかも？
テキスト・ファイルへ変換後の文字列を出力して見ると良いかも知れません。

---

追記

ああ、思い出しました。Windowsのnarrow文字列はUTF-8ではなくShift-JISです。
ですので、UTF-8でオープンできません。

Comments

[kamekawashinta]

w_chartだとうまくいきそうですね。
ただ、申し訳ありませんが、wchar_tからではなく、u16stringからの変換を目指しています。
もしくは、wchar_tへの変換を噛ませるべきなのでしょうか？

[kamekawashinta]

追記に関して
fstreamに渡す場合、u16Stringを
どこかでShift_Jisに変換する必要があるということですかね。

[Chironian]

narrow文字列で処理する場合はその通りです。
yumetodoさんが書かれているように「std::basic_ifstreamのコンストラクタがconst wchar_t*を受け取る独自拡張があります。」を使うのが確実と思います。