C++ RapidJSONにて、特定文字がはいったJSONファイルをパースするとエラーが発生します。解決方法をご教授ください。

Question

VisualStudio2015 C++で、JSONファイルの読込を実装しようとしています。
ライブラリはRapidJSONを使っています。

JSONファイルをパースする所で、エラー「文字列中に無効な文字があります」が発生しましたが、
その理由が分かりません。

試行錯誤した結果、「表」という文字がJSONファイルに含まれているとパースでエラーが発生します。
別の文字であればエラーが発生せずに正常にパースでき、値の取得もできるため、コードのどの部分を修正すればよいか分からず悩んでいます。

C++に対する知識もまだ浅いため、文字によらずパース可能にするためにはどこを改善すべきかご教授頂けますと助かります。
宜しくお願いいたします。

JSONファイル

[

{
"Cd" : "A001",
"Nm" : "裏"
},
{
"Cd" : "A002",
"Nm" : "表"
}
]

コード　※doc.HasParseError();でエラー発生

#include "stdafx.h"

#include "rapidjson/document.h"
#include "rapidjson/istreamwrapper.h"
#include <iostream>
#include <fstream>
#include <Windows.h>
#include <string>

using namespace rapidjson;

int main()
{
	std::ifstream ifs{ R"(D:\work\TESTJ.json)" };
	if (!ifs.is_open())
	{
		//OPENエラー
		return -1;
	}

	IStreamWrapper isw{ ifs };

	Document doc;
	doc.ParseStream(isw);

	bool error = doc.HasParseError();
	if (error) {
		//Parseエラー
		return -1;
	}

	// string

	rapidjson::Value& NM = doc;
	int i, l = NM.Size();
	for (i = 0; i < l; i++) {
		char cVal;
		std::cerr << NM[SizeType(i)]["Nm"].GetString() << std::endl;
	}
    return 0;
}

Comments

[yoorwm]

確か、JSONの規格自体がUTF-8前提とかそういう話だったと思うので、読み込むファイルのエンコーディング調べてみるとどうでしょうか？

[beginnerCPP]

ありがとうございます。
読み込んでいたJSONファイルはSJISでした。

UTF8でJSONファイルを保存して実行するとパースは通るようになりましたが「NM[SizeType(i)]["Nm"].GetString()」の箇所で「陬・」など文字化けして出力されました。

エンコードまわり調べてみたいと思います。

[SHOMI]

「陬・」
それはUTF8の「裏」の文字コードをそのままSJISの文字コードとして表示しようとしたためです。

Answer 1

皆さまありがとうございます！
アドバイスを元にコードを修正しました。
「表」の文字も正常に出力できることを確認できています。

≪改善策≫
・JSONファイルはUTF-8で保存すること。
・Windowsで標準入出力を介して出力する場合、UTF8→ShiftJISの変換が必要。

※変換処理部分のコードは以下のサイトより丸パクり参考にさせて頂きました。。
https://sayahamitt.net/

#include "stdafx.h"

#include "rapidjson/document.h"
#include "rapidjson/istreamwrapper.h"
#include <iostream>
#include <fstream>
#include <Windows.h>
#include <string>

using namespace rapidjson;

std::string UTF8toSjis(std::string srcUTF8) {
	//Unicodeへ変換後の文字列長取得
	int lenghtUnicode = MultiByteToWideChar(CP_UTF8, 0, srcUTF8.c_str(), srcUTF8.size() + 1, NULL, 0);

	//必要な分だけUnicode文字列のバッファ確保
	wchar_t* bufUnicode = new wchar_t[lenghtUnicode];

	//UTF8→Unicodeへ変換
	MultiByteToWideChar(CP_UTF8, 0, srcUTF8.c_str(), srcUTF8.size() + 1, bufUnicode, lenghtUnicode);

	//ShiftJISへ変換後の文字列長取得
	int lengthSJis = WideCharToMultiByte(CP_THREAD_ACP, 0, bufUnicode, -1, NULL, 0, NULL, NULL);

	//必要な分だけShiftJIS文字列のバッファ確保
	char* bufShiftJis = new char[lengthSJis];

	//Unicode→ShiftJISへ変換
	WideCharToMultiByte(CP_THREAD_ACP, 0, bufUnicode, lenghtUnicode + 1, bufShiftJis, lengthSJis, NULL, NULL);

	std::string strSJis(bufShiftJis);

	delete bufUnicode;
	delete bufShiftJis;

	return strSJis;
}

int main()
{
	std::ifstream ifs{ R"(D:\work\TESTJ.json)" };
	if (!ifs.is_open())
	{
		//OPENエラー
		return -1;
	}

	IStreamWrapper isw{ ifs };

	Document doc;
	doc.ParseStream(isw);

	bool error = doc.HasParseError();
	if (error) {
		//Parseエラー
		return -1;
	}

	// string

	rapidjson::Value& NM = doc;
	int i, l = NM.Size();
	for (i = 0; i < l; i++) {
		char cVal;
　　　　　　　　　//SJISに変換して出力
		std::cerr << UTF8toSjis(NM[SizeType(i)]["Nm"].GetString()) << std::endl;
	}

    return 0;
}

Answer 2

そのとき JSON はどのような文字コードで保存しましたか？

CP932 (Shift_JIS) における「表」は 95 5c で表され、 5c は文字 \ に対応します。 JSON では \ はエスケープのための文字として解釈しますから、まともに解釈できなくなるということが考えられます。

いわゆる「ダメ文字」と呼ばれるものです。

---

余談ですが、 JSON の仕様は元々は文字コードに関する指定はなく、アプリケーションの裁量でやることになっていました。 現時点の最新仕様では UTF-8 であることが必須になっているので多くのパーサは UTF-8 を前提としますけども、一部のパーサはいくつかの文字コードをサポートしていたり、デフォルトでは ASCII の範囲しか認めないものもあるなどして若干の混乱があります。

RapidJSON の場合は UTF-8, UTF-16, UTF-32 をサポートしているようです。

Comments

[beginnerCPP]

ありがとうございます。
JSONファイルはSJISで保存していました。

UTF8でJSONファイルを保存しなおして実行するとパースは通るようになりましたが「NM[SizeType(i)]["Nm"].GetString()」の箇所で「陬・」など文字化けして出力されました。

文字コード部分がよくわかっておらず、「NM[SizeType(i)]["Nm"].GetString()」の記述を変えればうまくいくのかなと思い模索しています。

[SaitoAtsushi]

いいえ。 それは正しく文字列を取得できています。 UTF-8 の文字列を CP932 として解釈するとその文字列になります。

Windows では標準入出力を介してターミナルへ出力しようとすると (使用言語の設定が日本語になっているなら) CP932 と解釈することになっているので UTF-8 をそのまま表示することが出来ません。

[beginnerCPP]

つまり、UTF8→SJISへの文字コード変換をかけてから出力すれば文字化けせずに正しく「表」の文字を認識できるということですね。

ありがとうございます！解決できそうです！

[SaitoAtsushi]

はい。 ただし、 Unicode (UTF-8) にあって SJIS (CP932) にはない文字というのはたくさんありますから、変換をかけるというのが妥当な処理方法なのかは場合によると思います。

「『標準入出力を介して』ターミナルへ出力しようとする場合」には CP932 と解釈されるということであって、ターミナルそのものは Unicode に対応しています。 WriteConsole API を使って表示すれば Unicode を表示可能です。 ただし、 Windows API がいうところの Unicode は UTF-16 のことです。 どうせ変換をかけるのであれば CP932 に変換するよりも UTF-16 に変換する方が処理コストは小さいはずです。

Answer 3

「表」という文字がJSONファイルに含まれているとパースでエラーが発生します。

文字コードがShiftJISではないでしょうか。
ShiftJISで「表」の2バイト目は\なのでエスケープされていない\が現れてエラーとなったのでしょう。
文字コードをUTF8に変換できませんか？

Comments

[beginnerCPP]

ありがとうございます。

ありがとうございます。
ご指摘の通り、読み込んでいたJSONファイルはSJISでした。

UTF8でJSONファイルを保存し直してから、コードを実行するとパースは通るようになりましたが「NM[SizeType(i)]["Nm"].GetString()」の箇所で「陬・」など文字化けして出力されました。

ファイルの読み込み部分から変更する必要があるのでしょうか。エンコード部分調べてみたいと思います。