Win10 VS2015 VC++ MFC (Unicode)で漢字入りJSONを正しく読み書きできるライブラリは実在するか。(続)

Question

前提

まず、経験の浅い物のため、ものをあまり知らないことを許していただきたい。

表題の環境下でJSONライブラリで漢字入りJSONを読み込もうとし、下記のライブラリを試したが、エスケープキャラクターでエラーが出る。
JSONはUTF-8でエンコードされているからダメ文字等はないはずだが、この問題が起きる。

• PicoJSON
• RapidJSON
• nlohmnn-jsonn
• Json11

規格上漢字をはじめとする日本語は要エンコードではないということも確認した。
デバッグしていくと、ファイルの読み込みはともかく、ライブラリにデータを渡した後にエラーが起きているように見える。
ただし、Win環境はエンコード周りが怪しい…。
なお、RapidJSONはダメ文字をバックスラッシュで回避することで読み込めたが、本来不要な処理なはずである。
Linux上では正常に動いている様子はよく見かけるが…。

※前回のが埋もれてしまったのか進展がないので再投稿。
解答いただけたら古いのも終了とします。

実現したいこと

漢字入りJSONを正しく読み込めるライブラリ、もしくは上記の試したライブラリの正しい扱い方を知る。

下記はBOM無しUTF-８でエンコードし保存 (補足要求を念のためこちらでも回答)

{
    "bad_string" : "表現"
}

発生している問題・エラーメッセージ

エスケープシーケンスが含まれる等のメッセージ

該当のソースコード

現在使用しているコード

FILE* fileR; //読込用ファイルポインタ
CString bufReadJSON; //読込バッファ
CString csResultReadJSON = NULL; //読込結果

CStdioFile cFileR(fileR); //読込用ファイルポインタの変形したもの

while (cFileR.ReadString(bufReadJSON)) {
	csResultReadJSON += bufReadJSON + _T("\n");
}

CStringA csaResultReadJSON(csResultReadJSON.GetBuffer(0));
std::string ssResultReadJSON = csaResultReadJSON.GetBuffer(0);
csResultReadJSON.ReleaseBuffer(0);
csaResultReadJSON.ReleaseBuffer(0);

rapidjson::Document hoge

hoge.Parse(ssResultReadJSON.c_str());
ssResultReadJSON.clear();

→パースされずにエスケープシーケンスエラー

std::stringの内部表現をShiftJISからUTF-8に変えるらしいコードを試した

std::string ssu8ResultReadJSON = "";

std::ifstream ifs;
ifs.open(PARAMSAVE, std::ios::binary);

std::string ssBufReadJSON;
while (getline(ifs, ssBufReadJSON)) {
	ssu8ResultReadJSON += ssBufReadJSON;
}

int lenUni = MultiByteToWideChar(CP_UTF8, 0, ssu8ResultReadJSON.c_str(), ssu8ResultReadJSON.size() + 1, NULL, 0);

wchar_t* bufUni = new wchar_t[lenUni];

MultiByteToWideChar(CP_UTF8, 0, ssu8ResultReadJSON.c_str(), ssu8ResultReadJSON.size() + 1, bufUni, lenUni);

int lenSJ = WideCharToMultiByte(CP_THREAD_ACP, 0, bufUni, -1, NULL, 0, NULL, NULL);

char* cpResultReadJSON = new char[lenSJ];

WideCharToMultiByte(CP_THREAD_ACP, 0, bufUni, lenUni + 1, cpResultReadJSON, lenSJ, NULL, NULL);

rapidjson::Document hoge
hoge.Parse(cpResultReadJSON);

→ダメだった。（詳細失念)
文字化けかエスケープシーケンスエラーのどちらかの発生。

Json11を使ってみた

FILE* fileR = NULL; //読込用ファイルポインタ
CStdioFile cFileR;
CString bufReadJSON; //読込バッファ
CString csResultReadJSON = NULL; //読込結果

_tfopen_s(&fileR, PARAMSAVE, _T("r,ccs=UTF-8"));


CStdioFile cFileR(fileR); //読込用ファイルポインタの変形したもの

while (cFileR.ReadString(bufReadJSON)) {
	csResultReadJSON += bufReadJSON + _T("\n");
}

CStringA csaResultReadJSON(csResultReadJSON.GetBuffer(0));
std::string ssResultReadJSON = csaResultReadJSON.GetBuffer(0);
csResultReadJSON.ReleaseBuffer(0);
csaResultReadJSON.ReleaseBuffer(0);
std::string ssErr;
jsonDoc.ParseString(ssResultReadJSON, ssErr);

→パースされずにエスケープシーケンスエラー

Json11使ってみた(2:std::stringに統一)

std::string ssResultReadJSON = "";
		
std::ifstream ifs;
ifs.open(PARAMSAVE, std::ios::binary);

std::string ssBufReadJSON;
while (getline(ifs, ssBufReadJSON)) {
	ssResultReadJSON += ssBufReadJSON;
}

std::string ssErr;
auto jsonDoc = json11::Json::parse(ssResultReadJSON, ssErr);

→パースはされるが出力すると文字化けている。

試したこと

ファイルの読み出し方を変えたり、CStringに入れたりStd::Stringに入れたり、変換方法を変えてみたりした。

補足情報（FW/ツールのバージョンなど）

さらに詳細な情報の希望があれば可能な限り開示。

Comments

[y_waiwai]

エラーが出たなら、エラーメッセージを提示しましょう
エラーメッセージは、よけいな省略翻訳しないで出たそのママをコピペで提示してください

Answer 1

Json11使ってみた(2:std::stringに統一)版でやってみたけど、ここでのstringの中身はutf8なので、それを使うタイミングでutf16変換してCStringWとかstd::wstringとかで返せばいいのでは。
ぱっと見json11.cppはutf8前提のコードに見えるので。

CStringW ConvertFromUTF8(const std::string& utf8)
{
    if (utf8.empty()) return L"";
    CStringW uni;
    const int cc = MultiByteToWideChar(CP_UTF8, 0, utf8.data(), utf8.size(), NULL, 0);
    if (cc > 0)
    {
        wchar_t* buf = uni.GetBuffer(cc);
        MultiByteToWideChar(CP_UTF8, 0, utf8.data(), utf8.size(), buf, cc);
        uni.ReleaseBuffer(cc);
    }
    return uni;
}

{
auto jsonDoc = json11::Json::parse(ssResultReadJSON, ssErr);
CStringW val = ConvertFromUTF8(jsonDoc["bad_string"].string_value());
}

Answer 2

漢字入りJSONを正しく読み書きできるライブラリは実在するか。

単にあなたの使い方がまずいだけなんでは

Comments

[Kazumori102]

その通りです。
が、例を探しても上にあげたもの以上のは探し方が悪いのか見当たらないのです。

[y_waiwai]

使い方がまずいと思うなら、それを聞けばいいのでは。
いきなり実在するのかと聞かれても答えようがない。
前の質門で放置されたのはそういうことでしょ