CString型にバイナリデータはセットできますか？

Question

前提・実現したいこと

VisualStudio6のC++の既存システムで、char型配列に入ったバイナリデータ（0x0e、0x0fなど）をURLエンコードする必要が発生しました。
しかし既存システムのURLエンコードしてくれる関数は引数がCString型です。
この関数に渡すため、先のchar型配列の値をCString型の変数にセットしたいのですが、中身がバイナリでもCString型には問題なく入るものでしょうか？

発生している問題・エラーメッセージ

試してみたところ、正しくURLエンコードされなかったので、そもそもCString型にバイナリデータをセットしてはいけないのではないかと疑っています。
もし、CString型にもchar型配列のようにバイナリデータも問題なく入るのであれば、既存システムのURLエンコード関数の問題だと思われるのでそちらを追います。
（そもそもバイナリデータはURLエンコードできるものではない等あれば、ご指摘ください。0x0eは%0e、0x0fは%0fになると思っているのですが）

補足情報

VisualStudio6

Answer 1

CStringクラスはご存知のように基本的に文字列を扱うクラスで、char型をベースとしてANSI/マルチバイト文字列を扱う為のものと、wchar_t型をベースとしてUNICODE(UTF16)を扱うものの2つのバージョンがあります。更に、Visual C++ 6ではMFCのライブラリ(静的ライブラリ、またはDLL)ですが、Visual Studio のある一定の版からはそれに加えてビルドの形態によってMFC/ATLのC++テンプレートライブラリで実装されることもあるので、注意が必要です。

バイナリデータを格納することができるかどうかですが、UTF-8エンコードが出現する前からシフトJISと言うマルチバイト文字列があり、0x80以降の値を扱っているので、既に「バイナリデータ」と言えなくも無いです。ここで依然として問題になるのが0x00('\0')の扱いで、これはCStringの中でcharの文字列として扱うときに文字列の終端とみなされてしまうので、バイナリデータの途中に0x00が存在するとその位置で切って扱われてしまいます。UTF-8で扱う限りはそれで問題は無いかもしれませんが、1バイトの全ての範囲(0x00～0xff)を等価に扱いたいバイナリデータとしては、それでは困るでしょう。

CStringクラスにはGetBufferとReleaseBufferと言うメンバー関数があります。これは編集可能なバッファーとしてCString内部のTCHAR(char/wchar_t)領域を返す関数群で、これを利用すれば文字列の間に0x00があってもそれ以降のデータにポインターを介してアクセスすることができるようになります。つまり0x00を気にしない「バイナリ列」として扱うことができるということです。ですが、GetBufferで取得したポインターで示されるバッファーはReleaseBufferで解放する必要があり、操作が煩雑です。また、有効データ長を自分で管理しなければならないので、面倒でしょう。裏技的操作です。

char型版のCStringではなくwchar_t型版のCStringを使っている場合、一文字一文字がwchar_t型のワイド文字つまり2バイトになるので、この場合はバイナリ列として扱うのは困難が伴います。そんな場合はいっそCStringではなく、自前のクラスなり関数を使ったほうが簡単だと思います。

質問者さんのケースではVC++6で造られた既存システムと他のシステムがCStringでやり取りされるとのことですが、CString自体の見た目は単なるソースコードですので、それが実際にどのバージョンでビルドされているかを注意しないといけないと思います。上記を気を留めてみてください。

参考までに以下のサンプルコードを用意しました。これはVisual C++ 6.0、Visual Studio 2019のどちらでも同じように動作します。Visual Studio のビルド時の設定としては「マルチ バイト文字セットを使用する」を指定して使います。

#include <stdio.h>
#include <afx.h>
#include <afxwin.h>         // MFC のコアおよび標準コンポーネント

int _tmain(int argc, TCHAR* argv[], TCHAR* envp[])
{
    int nRetCode = 0;

    // MFC の初期化および初期化失敗時のエラーの出力
    if (!AfxWinInit(::GetModuleHandle(NULL), NULL, ::GetCommandLine(), 0))
    {
        fprintf(stderr, "Fatal Error: MFC initialization failed\n");
        nRetCode = 1;
    }
    else
    {
        CString str("Initial String.");

        printf("#1: size of TCHAR=%d\n", sizeof(str[0]));
        printf("#2: length=%d\n", str.GetLength());
        printf("#3: str [%s]\n", (const char*)str);

        // 10文字分に切り詰め
        char* pref = str.GetBufferSetLength(10);
        printf("#4: length=%d\n", str.GetLength());

        *(pref + 0) = '0';
        *(pref + 1) = '1';
        *(pref + 2) = '2';
        *(pref + 3) = '3';
        *(pref + 4) = '\0';
        *(pref + 5) = (char)0xf5;
        *(pref + 6) = (char)0xf6;
        *(pref + 7) = (char)0xf7;
        *(pref + 8) = (char)0xf8;
        *(pref + 9) = (char)0xf9;

        int i;
        printf("#5: --------\n");
        for (i = 0; i < str.GetLength(); i++) {
            printf("%02x ", (unsigned char)*(pref + i));
        }
        printf("\n");

        printf("#6: str=[%s]\n", (const char*)str);
        str.ReleaseBuffer();

        // CString.ReleaseBuffer(); の実行後
        printf("#7: length=%d\n", str.GetLength());
        printf("#8: alloc length=%d\n", str.GetAllocLength());
        printf("#9: --------\n");
        for (i = 0; i < str.GetLength(); i++) {
            printf("%02x ", (unsigned char)str[i]);
        }
        printf("\n");

        printf("#10: ------\n");
        // CString.GetBuffer()でバッファー内を覗いてみる
        pref = str.GetBuffer(str.GetAllocLength());
        for (i = 0; i < str.GetAllocLength(); i++) {
            printf("%02x ", (unsigned char)*(pref + i));
        }
        printf("\n");
        str.ReleaseBuffer();
    }

    return nRetCode;
}

上記のプログラムをコマンドプロンプト上で動作させると、以下のような実行結果となります。格納したバイナリデータが取り出せていることが分かります。Visual C++6.0でビルドし、Windows XP上で動作させたものと、Visual Studio 2019でビルドし、Windows 7で動作させたもの、どちらも同じ結果となります。

#1: size of TCHAR=1
#2: length=15
#3: str [Initial String.]
#4: length=10
#5: --------
30 31 32 33 00 f5 f6 f7 f8 f9 
#6: str=[0123]
#7: length=4
#8: alloc length=15
#9: --------
30 31 32 33 
#10: ------
30 31 32 33 00 f5 f6 f7 f8 f9 00 69 6e 67 2e 

Comments

[mister]

大変ありがとうございます。
途中に0x00があったことによる問題だったことが判明しました。0x00が入らない仕様にするか、GetBufferで解決しようと思います。

Answer 2

※ Visual Studio 6.0 の開発環境を用意するのはちょっと大変なので、以下の検証は全て Visual Studio 2017 (VC 14.1) で行っています。

CString にバイナリデータを入れることは可能だと思います｡
ただし、0x00 は特別扱いされるようなので、CString に格納するのはちょっと面倒ですけど。

しかし、既存の関数に問題があるようでしたら、URL エンコードは実装するのもそう手間ではないので、新規に作成してもいいんじゃないかと思います。
「urlエンコード」で検索すると幾つか参考になるソースが見付かります。

こちらの「C++(Arduino)で簡単なURLエンコード/デコードを実装する」
を元にして、CString を使ってテストプログラムを作ってみました。

#include <iostream>
#include <iomanip>
#include <string>
#include <atlstr.h>

const char encTable[16] = {
    '0', '1', '2', '3', '4', '5', '6', '7',
    '8', '9', 'a', 'b', 'c', 'd', 'e', 'f'
};

const char safeTable[256] = {
    //      0  1  2  3  4  5  6  7  8  9  A  B  C  D  E  F
    /* 0 */ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
    /* 1 */ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
    /* 2 */ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
    /* 3 */ 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0,
    /* 4 */ 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
    /* 5 */ 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0,
    /* 6 */ 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
    /* 7 */ 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0,
	/* 8 */ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
	/* 9 */ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
	/* a */ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
	/* b */ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
	/* c */ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
	/* d */ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
	/* e */ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
	/* f */ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
};

CString urlEncode(const CString &msg)
{
	CString encoded = "";

	int length = msg.GetLength();
	for (int i = 0; i < length; ++i) {
		if (safeTable[msg[i] & 0xff]) {
			encoded += msg[i];
		} else {
			encoded += '%';
			encoded += encTable[(msg[i] >> 0x04) & 0x0f];
			encoded += encTable[msg[i] & 0x0F];
		}
	}

	return encoded;
}

int main(void)
{
	CString str("abc\x0e\x0f");
	str.AppendChar('\x00');
	str.AppendChar('\x10');
	str.AppendChar('\x80');
	str.AppendChar('\xff');

	CString url = urlEncode(str);

	std::cout << url.GetString() << '\n';
}

実行結果

abc%0e%0f%00%10%80%ff

Comments

[mister]

大変ありがとうございます。
途中に0x00があったことによる問題だったことが判明しました。0x00が入らない仕様にできなかった場合、URLエンコード関数を新規作成することになりましたら利用させて頂きます。