C#でbyte型の保存について

Question

byte型での値の取り扱いの勉強をしております。
何となくそれっぽい機能ができたのですが、
List型のようにサイズが可変のものを保存する書き方がわかりませんでした。

下記みたいなソースコードの場合listValはどのように変換して保存、取り出しすればよいのでしょうか。

SizeOfとGetBufferで取得した値が違うのですが、Byte型に変換する前にGetBufferで取得できる値を計算することは可能でしょうか。
ここら辺でとれる値がなぜ違うのかよく理解できておりません。

    public struct DATA {
        public int saveDataVersion;
        public int intVal;
        public float floatVal;
        public string stringVal;
        public List<int>  listVal; // これを保存したい
    }
    
DATA data;
int saveDataSize = 256;
int size = System.Runtime.InteropServices.Marshal.SizeOf(data);
Log("saveDataSize = " + size); // 24が取得

using (MemoryStream stream = new MemoryStream(saveDataSize)) {
    BinaryWriter writer = new BinaryWriter(stream);
    writer.Write(test.data.saveDataVersion);
    writer.Write(test.data.intVal);
    writer.Write(test.data.floatVal);
    writer.Write(test.data.stringVal);
    stream.Close();
    data = stream.GetBuffer();
    Log(data.Length); // 256が取得
}

Comments

[退会済みユーザー]

保存というのはどこにどういう形で行うのか分かりませんが、byte 型でなくても JSON 文字列とかでも良いのですか？

[退会済みユーザー]

> int size = System.Runtime.InteropServices.Marshal.SizeOf(data);
この Marshal.SizeOf はマネージド型を含んでいるから失敗して例外になると思いますけど。本当に24取得出来てるんですか？単にオブジェクトをファイルに保存したいだけであれば、既存のシリアライザを活用した方が良いと思いますが、絶対に生のバイナリデータで保存したいんでしょうか？

[退会済みユーザー]

そもそも何がしたかったのでしょうか？

目的を果たすのに役に立った回答があればそれにベストアンサーを付けて、このスレッドはクローズ願います。

期待する回答が無くて、質問を続けたい場合はその限りではないですが、であれば質問欄を編集して「そもそも何がしたかったのか」の情報を追記して、まだそれに対する回答を募集中であることを書いてください。

[退会済みユーザー]

SurferOnWwwさんの言うように、ファイルに書き出す為には目的が重要になります。
例えば、BMPやPNG等の画像フォーマットのように決まった仕様があり、仕様に従って正確にバイト単位で書き出す必要があるのと、単純に自分のプログラムで使用しているオブジェクトの内容を保存したいだけで、ファイルフォーマットは何でもいい場合では、話が全然変わってきます。
後者の場合、プログラム書く前に、自身の用途に適したファイルフォーマットの選定から入る事になります。XMLやJSONのようにメジャーなフォーマットなら、出力方法はWeb上で検索するとすぐに出てくる筈です。独自のバイナリフォーマットで出力した場合、互換性を維持するのが困難になるので、あまりお勧めしません。

Answer 1

自分用の独自の保存コード（シリアライザ）を作りたいのかと想定します。
可変長のデータを保存する場合はルールを決めて保存します。

書かれたコードだと string は本来可変ですが標準ライブラリが自動で可変長を 長さ＋データ というルールで保存してくれています。例えば "abc" をBinaryWriterでシリアライズすると [03,'a','b','c'] となっていると思います。stringの場合はライブラリがやってくれますがそれ以外は自分で実装する必要があります。

この方法だと元に戻す（デシリアライズ）時にここに 長さ＋文字列 があると事前に知っていないと戻せません。
また、長さ部分は1バイト表現（255文字まで）でよいのか、データの並び順はビッグエンディアンかリトルエンディアンか、など考えることは多いです。
そのため、これらを汎用化させたシリアライザーというライブラリがいくつもあります。jsonもその1種ですが
バイナリー形式での保存に興味があるのであれば通信系なら「BER符号化方式（タグ＋長さ＋データ）」、ライブラリなら「MessagePack」、「ProtoBuf」あたりを調べてみるといいでしょう。

Answer 2

List<int> を含めると、Marshal.SizeOf は異常終了するので、たぶんコメントアウトしているんでしょうね。

(1) 構造体のサイズについて

public struct DATA
{
    public int saveDataVersion;
    public int intVal;
    public float floatVal;
    public string stringVal;
}

おそらく 64ビット環境だと思いますが、int, float は４バイト、string はクラスなので 64 ビットのポインタが構造体に格納されています。
ただし、ポインタは 64 ビット境界に置かれる（アライメントといいます）ので空き領域が 4 バイト出来ます。
4バイト(int) + 4バイト(int) + 4バイト(float) + 4バイト(空き領域) + 8バイト(string) = 24バイト

(2) MemoryStream.GetBuffer について

GetBuffer は、MemoryStrem の中に確保したバイト配列を取り出すだけなので、実際の長さとは違います。
長さは Length プロパティで取得してください。

(3) バイト配列に格納するには

構造体を Serializable でマークすると BinaryFormatter を使うことができます。

using System;
using System.Collections.Generic;
using System.IO;
using System.Runtime.Serialization.Formatters.Binary;

[Serializable]
public struct DATA
{
    public int saveDataVersion;
    public int intVal;
    public float floatVal;
    public string stringVal;
    public List<int> listVal;
}

var data = new DATA {
    saveDataVersion = 1,
    intVal = 2,
    floatVal = 3.0f,
    stringVal = "ABC",
    listVal = new List<int> { 1, 2, 3, 4, 5, 6, 7 }
};

var formatter = new BinaryFormatter();
using (MemoryStream stream = new MemoryStream(1024)) {
    formatter.Serialize(stream, data);                  // 構造体を保存
    long size = stream.Length;                          // 保存された長さを取得

    stream.Position = 0;                                // ポインタを戻す
    DATA tmp = (DATA)formatter.Deserialize(stream);     // 構造体を取り出す
}

(4) あらかじめ長さを計算できるか

int, float は４バイトですが、string や List は複雑なので、.NET のソース見て研究してください。

BinaryWriter.Write(string)
https://referencesource.microsoft.com/#mscorlib/system/io/binarywriter.cs,166b0572d9c907b3

List<T>
https://referencesource.microsoft.com/#mscorlib/system/collections/generic/list.cs

Comments

[momiji0210]

メチャクチャ丁寧にありがとうございます。なるほど・・・。どうしても計算が合わなかったのですが空き領域なるものが存在するのですね！
Serializable についても知らなかったので助かります。
諸々自分の環境でも試してみます。

Answer 3

質問のコメント、

保存というのはどこにどういう形で行うのか分かりませんが、byte 型でなくても JSON 文字列とかでも良いのですか？

に返事がないのでそれではダメなのかもしれませんが、JSON 文字列案を書いておきます。

以下のような Newtonsoft.Json を使って DATA オブジェクトを JSON 文字列にシリアライズすると、

using System;
using System.Collections.Generic;
using Newtonsoft.Json;

namespace ConsoleApp1
{
    internal class Program
    {
        static void Main(string[] args)
        {
            var data = new DATA
            {
                saveDataVersion = 1,
                intVal = 2,
                floatVal = 3.0f,
                stringVal = "ABC",
                listVal = new List<int> { 1, 2, 3, 4, 5, 6, 7 }
            };

            var jsonString = JsonConvert.SerializeObject(data, Formatting.Indented);
            Console.WriteLine(jsonString);

            var deserialized = JsonConvert.DeserializeObject<DATA>(jsonString);
        }
    }

    public struct DATA
    {
        public int saveDataVersion;
        public int intVal;
        public float floatVal;
        public string stringVal;
        public List<int> listVal;
    }
}

結果は以下のようになります。（注： 見やすくするため、SerializeObject メソッドの第 2 引数に Formatting.Indented を設定しています）

{
  "saveDataVersion": 1,
  "intVal": 2,
  "floatVal": 3.0,
  "stringVal": "ABC",
  "listVal": [
    1,
    2,
    3,
    4,
    5,
    6,
    7
  ]
}

上のコードにも書きましたが、JSON 文字列をデシリアライズして元の DATA オブジェクトを得ることもできます。

Comments

[momiji0210]

ご回答ありがとうございます！JSONについては過去実装したことがあり何となくかけそうでした。
今回、byte型という使ったことがないものだったのと、
通信APIの関係でbyte型でのやりとりできない環境があることも知りました。
そういった事情もあり勉強したくなったんですよね！
ご丁寧にありがとうございました。

[退会済みユーザー]

そもそも何がしたかったのでしょうか？　JSON 文字列にするのでは、「そもそも何がしたかったのか」の目的を果たすのに役に立たなかったですか？

Answer 4

そのリストのサイズが取れるでしょうから、そのサイズ分保存すればいいです
提示のコードではlistValの保存のコードはないですね

＃んで、C# シリアライズ、ってのでぐぐってみよう