C++ オブジェクトの逆シリアル化を行うとメモリがずれる

Question

##質問概要
・オブジェクト Data のシリアル化と逆シリアル化を行う関数を作成しています。しかし、オブジェクトのシリアル化をした後に、逆シリアル化を行うと、シリアル化した際のメモリレイアウトがずれてしまい、正しく逆シリアル化できないのですが、どうしてそうなってしまうのかわかりません。お力を貸してください。

##質問詳細

環境は、
機種名: MacBook Air
機種ID: MacBookAir8,2
プロセッサ名: Dual-Core Intel Core i5
プロセッサ速度: 1.6 GHz
プロセッサの個数: 1
コアの総数: 2
二次キャッシュ（コア単位）: 256 KB
三次キャッシュ: 4 MB
ハイパー・スレッディング・テクノロジ: 有効
メモリ: 8 GB

です

今回、シリアル化したいオブジェクトは、以下のものです

typedef struct Data
{
	std::string s1;
	int n;
	std::string s2;
}				Data;

このオブジェクトに関して void *serialization(std::string s1, int num, std::string s2) でシリアル化した後、 Data *deserialization(void *raw) で逆シリアルかすることを考えます

実際のコードと、それをテストした結果をいかに示します。
###実行コード

// main.cpp

#include <iostream>
#include <string>

typedef struct Data
{
	std::string s1;
	int n;
	std::string s2;
}				Data;

// serialization 関数名で、先に52バイトメモリを確保し、キャストしながらメモリに値を配置していく
void *serialization(std::string s1, int num, std::string s2)
{
	void *ret = reinterpret_cast<void*>(new char(52));
	void *tmp;
	std::string *p_s1;
	int *p_num;
	std::string *p_s2;

	p_s1 = reinterpret_cast<std::string*>(ret);
	std::cout << "p_s1  = " << p_s1 << std::endl;
	*p_s1 = s1;
	p_s1++;
	p_num = reinterpret_cast<int*>(p_s1);
	std::cout << "p_num = " << p_num << std::endl;

	*p_num = num;
	p_num++;
	p_s2 = reinterpret_cast<std::string*>(p_num);
	std::cout << "p_s2  = " << p_s2 << std::endl;


	*p_s2 = s2;

	return (ret);

}

Data *deserialization(void *raw)
{
	Data *ret;
	ret = reinterpret_cast<Data*>(raw);
	return (ret);
}

int main()
{
	
	std::cout << "\n\n======================Serialized Raw Data========================\n\n" << std::endl;

	void *p = serialization("testtest", 42, "testtest");
	

	std::cout << "\n\n======================Deserialized Raw Data========================\n\n" << std::endl;

	Data *data = deserialization(p);

	std::cout << "p_s1  = " << &data->s1 << std::endl;
	std::cout << "p_s1  = " << &data->n << std::endl;
	std::cout << "p_s1  = " << &data->s2 << std::endl;
	std::cout << data->s1 << std::endl;
	std::cout << data->n << std::endl;
	std::cout << data->s2 << std::endl;
}

###実行結果

 % clang++ main.cpp
 % ./a.out 


======================Serialized Raw Data========================


p_s1  = 0x7f9388c05910 <- 10 (16)
p_num = 0x7f9388c05928 <- 28 (40) (std::string の24byte分メモリが進んだ)
p_s2  = 0x7f9388c0592c <- ここは、2c（44） なのに (int の 4byte分メモリが進んだ)


======================Deserialized Raw Data========================


p_s1  = 0x7f9388c05910 <- 10 (16)
p_s1  = 0x7f9388c05928 <- 28 (40)
p_s1  = 0x7f9388c05930 <- ここは、30(48) に変わって4バイト分余計にずれている
testtest
42
test                       <- 値も失われている

####まとめ

このように、シリアル化してから逆シリアル化するさいにメモリがずれデータが失われるのはなぜでしょうか...

自分の予想としては、逆シリアル化するさいに単純なreinterpret_cast をしているのが問題なのかな　と予想してますが、何が問題なのかわかりません。

Data オブジェクトの３つのメンバはメモリ上に一列に配置されるので、シリアライズされ送られてきたポインタをキャストすれば逆シリアル化できると思ってました。

違うようです...

ご教授くださいm(_ _)m

補足

Data オブジェクトの std::string には、最大で小英数字8 文字までしかいれない前提があります。。
なので、std::string を 24byte として決め打ちしてます

Comments

[episteme]

std::string の大きさ(長さ)は不定/可変なのに、なんで52バイト決めうちで領域確保できるんですか?

[yoshiki_iwasa]

あ、ご指摘ありがとうございます！
すいません　記載漏れがありました。

Data の string メンバに格納される文字列は、最大で小英数字8文字までという前提があります。

この前提に立つと、std::string は 24バイトで決め打ちして問題なくなります

[episteme]

> この前提に立つと、std::string は 24バイトで決め打ちして問題なくなります
文字列長が8に満たないときも8byteを文字列とするってこと?
であれば、そのことがコードで表現されていません。

[yoshiki_iwasa]

紛らわしかったので、8文字に変更しました！

ご指摘ありがとうございます

Answer 1

参考になるかわからんが、僕ならこう書く(内包する文字列が改行を含まぬASCIIのみで構成されている場合)

#include <iostream>
#include <sstream>
#include <string>

struct Data {
    std::string s1;
    int n;
    std::string s2;
};

// Dataを文字列化
std::string to_string(const Data& data) {
  std::ostringstream stream;
  stream << data.s1 << std::endl
         << data.n << std::endl
         << data.s2;
  return stream.str();
}

// 文字列をData化
Data from_string(const std::string& str) {
  std::istringstream stream(str);
  Data data;
  std::getline(stream, data.s1);
  std::string tmp;
  std::getline(stream, tmp);
  data.n = std::stoi(tmp);
  std::getline(stream, data.s2);
  return data;
}

int main() {
  Data input;
  input.s1 = "hoge";
  input.n  = 123;
  input.s2 = "fuga";
  
  // シリアライズ
  std::string str = to_string(input);

  // デシリアライズ
  Data output = from_string(str);
  
  std::cout << '[' << output.s1 << "] " << output.n << " [" << output.s2 << "]\n";
}

Comments

[yoshiki_iwasa]

回答案をつくってくださってありがとうございます！！

さんこうにしてもう少し考えてみます！

[episteme]

さんこうにするのは構わんけど、あなたの抱える問題には答えていません。それでもベストアンサー?

Answer 2

言語仕様としてはオブジェクトがどのようなメモリレイアウトになるのかということを限定的な保証しかしていません。 trivially copyable 要件を満たす場合を除いてはバイト単位でのコピーがオブジェクトのコピーとしても正しいとは保証されません。 未定義です。

「どうしてそうなってしまうのか」ということに (言語仕様に基づいた) 説明をするなら「保証されていないことをしているから」というのが解です。

---

メモリのレイアウトに関すること以外で言えば *p_s1 は std::string として初期化されていません。 代入は必ずしも素朴なビットパターンのコピーでありませんのできちんと初期化されて std::string 型として整合性が取れている状態になっていないと何が起こるかわかりません。

仕様の関連項目

様々なルールの組み合わせなので今回の事情にちょうどよい内容がまとまっているものというとちょっと示せないのですが、とりあえずおおざっぱにだけ仕様 (C++11) の関連個所をリンク付きで抜き出しておきます。 規格を読み解くのは大変なのでわからないところはこのあたりに出てくる用語から適当にググってください。

• まず、 trivially copyable な型はバイト列としてコピー可能である (std::memcpy できる) と示されています。
• スカラ型や配列型や trivially copyable class などは trivially copyable です。
• trivially copyable class であるための要件はユーザー定義のコンストラクタを持っていないことなどのオブジェクトの構築に関する制約と、データメンバや基底も trivially copyable でなければならないという制約を満たすことです。 ただし、具体的な要件の内容は C++14 以降、 C++17 以降で若干の変更があるようです。 規格の詳細を確認するのは面倒なのでよくわからなければ std::is_trivially_copyable を使ってチェックしてみればよいです。

そして std::string は trivially copyable class ではないのでこれをバイト列としてコピーして戻したときにオブジェクトとして正しいことは保証されないわけです。。

#include <iostream>
#include <type_traits>
#include <string>

int main(void) {
    // 0 が出力される。 std::string は trivially copyable ではない。
    std::cout << std::is_trivially_copyable<std::string>() << std::endl;
    return 0;
}

レイアウトに関する保証としては、

• 同じアクセス制御 (private, public, protect の指定が同じということ) を持つデータメンバは宣言の順序で配置されますが、逆に言えば違うアクセス制御のデータメンバはどちらが先でどちらが後かというのは並べ替えられる可能性もあるということです。
• 更に、スタンダードレイアウトと呼ばれる要件を満たす場合には offsetof マクロを使えること、同じ内容の同じ内容の構造体型のレイアウトが互換性を持つことなどの保証が与えられます。
• オブジェクトがスタンダードレイアウトになる要件としては仮想関数を持たないことや全てのデータメンバが同じアクセス制御を持つことなどが求められています。
• オブジェクト内には詰め物 (padding) がある可能性もあり、データメンバとデータメンバの間に無意味なバイト列が挟まっていることもあります。 (アラインの調整などの理由で。)

言語の仕様として保証していないことであってもすぐさま駄目なわけではなく、処理系・実行環境としてなんらかの保証を与えている場合もあります。 ただ、検証するのが面倒ですし、移植性も損なうので特別に強い理由があるのでなければ言語仕様が保証する範囲内でやるのが好ましくはあります。

Comments

[yoshiki_iwasa]

未定義なんですね 。。。
ありがとうございます！
この回答内容に関する参考資料のURLなどあれば教えていただきたいです!!

[yoshiki_iwasa]

ありがとうございます！！！
参考資料に加えて、大量の解説を頂けるとは思ってませんでした
感謝します

Answer 3

大きく勘違いをされているようです。
std::stringでの文字列はstring自体に保持されません。
new等で割り当てたヒープ領域に保持されます。

このserializationではメモリ破壊が起こってしまいます。

1. std::stringのサイズは保持する文字列のサイズと関係ありません。

　　stringクラスの実装によりことなります。
私の環境では、sizeofでstd::stringのサイズを出力すると32バイトです。
0. 無理やり、charへのポインタ（newしたメモリ領域）をstd::stringへのポインタとしてキャストしていますが、無理があります。
以下の命令では、s1の内容が*p_s1にコピーされるわけではありません。
std::stringクラスの代入演算子が実行されます。

*p_s1 = s1;

上記のコードでは、
0. *p_s1にすでに文字列が入っていれば、この文字列の領域を解放
0. s1が保持している文字列コピー

のような、動作になると考えますが、しかし、p_s1は元々、charへのポインタであり、std::stringオブジェクトではないため、動作が不定です。
実際、私の環境ではSegmentation faultが発生しまともに動作しません。

Comments

[SaitoAtsushi]

補足しておくと、処理系によっては std::string は短い文字列を保持するときにはオブジェクトの内部にデータをかかえることがあります。 (いわゆる SSO)
なので、部分的には上手くいっているように見えてしまうことがあったのかもしれません。

[yoshiki_iwasa]

@akiruno-oneone
回答ありがとうございます。

>std::stringでの文字列はstring自体に保持されません。
new等で割り当てたヒープ領域に保持されます。
このserializationではメモリ破壊が起こってしまいます。

この部分について質問です。

具体的に、どのようなメモリ破壊が起こるのでしょうか..?

自分の理解としては、std::string のためのメモリ24byte は new によって確保されており、std::string が文字列を保持するためのメモリ領域も正しく確保されていると思ってました。

上の実装の場合、どこでどのようなメモリ破壊が起きるのかわかりません...