uint配列を含む構造体の共有メモリへのマッピング

Question

共有メモリアクセス及び構造体定義について、マッピングされる位置がおかしい問題と、AccessViolationExceptionがthrowされる問題がそれぞれ発生しており、それを解消したく思っています。

質問の背景

C側で以下の構造体を共有メモリにマッピングしています：

struct Data
{
    uint32_t member1;
    uint32_t member2;
    uint32_t member3[128];
};

共有メモリアクセスでは（MemoryMappedFile及びMemoryMappedViewAccessorを使わず）WIN32 APIのOpenFileMapping()及びMapViewOfFile()を用いてIntPtrを得て行っています。

問題ない動作

Spanを使う場合は、期待通りのデータを参照できています。

void Hoge(IntPtr addr)
{
    Span<uint> span;
    unsafe
    {
        span = new Span<uint>(addr.ToPointer(), 130);
    }
    // ここでspan変数を使ってアクセス
    // →例外はthrowされないし、共有メモリ上の値が正しく取得できる。
}

なので、共有メモリ上のデータ、及びIntPtrが指すアドレス位置は問題ないことがわかっています。

発生した問題(1) マッピングされる位置がおかしい

C#側で以下の構造体を定義してアクセスしようとしました：

[StructLayout(LayoutKind.Sequential, Pack = 1)]
public struct Data
{
    public uint member1;
    public uint member2;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 128)]
    public uint[] member3;
};

void Hoge(IntPtr addr)
{
    unsafe
    {
        ref var data = ref Unsafe.AsRef<Data>(attr.ToPointer());
        // ここでdata.member1にアクセス
        // →先頭から12bytesの位置（C側構造体でのmember3[1]）の値が読める
    }
}

そうすると、上記コード中のコメントに記述したとおり、member1にアクセスしようとしているのにmember3[1]にアクセスされてしまいます。

発生した問題(2) AccessViolationExceptionがthrowされる

上記(1)でアクセス位置がおかしいので、Dataの定義を以下のように修正しました：

[StructLayout(LayoutKind.Explicit)]
public struct Data
{
    [FieldOffset(0)]
    public uint member1;
    [FieldOffset(4)]
    public uint member2;
    [FieldOffset(8)]
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 128)]
    public uint[] member3;
};

そうすると、member1及びmember2は共有メモリ上の値を正しく取得できたのですが、member3[0]の値を取得しようとするとAccessViolationExceptionがthrowされました。

質問

1. 問題(1)においてアクセス位置がずれてしまうのは何故なのでしょうか。
2. 問題(2)においてmember3にアクセスできないのは何故なのでしょうか。
3. どのように修正したら、共有メモリ上のデータに直接アクセスできるでしょうか。ここでいう「直接アクセス」とは、スタック上に別途Dataの構造体をnewして、共有メモリからその変数にmemcpy()するようなことを避けたい、という意味です。これは次の2つの理由によります：(1)パフォーマンス上の懸念(2)共有メモリ上のデータのset/getにおいて毎回Write/Readを呼ぶような実装上の煩雑性を避けたい。

開発・動作環境

Windows 10 Pro 1909 (Build 18363.1139)
Visual Studio Professional 2019 ver.16.7.y
C# コンソールアプリケーション
ターゲットフレームワーク .NET Framework 4.8
「32ビットを選ぶ」のチェックをオフ
「アンセーフコードの許可」にチェック
System.Memory 4.5.4をNugetで取得して利用

Answer 1

そういう事をしたい場合は、unsafe structを使用する必要があるかと思います。

[StructLayout(LayoutKind.Sequential, Pack = 1)]
public unsafe struct Data
{
    public uint member1;
    public uint member2;
    public fixed uint member3[128];
};

固定ではない配列を含む構造体は、非Blittable型になります。
Blittable 型と非 Blittable 型
Marshalクラスや、PInvoke呼び出しを経由する分には、マーシャリングで上手く変換してくれるのですが、非Blittableな構造体の実際のメモリの配置のされ方は、C言語の構造体とは違います。

下記のコードをデバッグ実行して、Console.ReadLineの辺りにブレークポイントを設定し、デバッグ⇒ウィンドウ⇒メモリでptr1,ptr2の指すメモリ内のデータの配置のされ方を覗いたり、変数の値を覗いたりしてみてください。
何故上手くいかないのか理由が判ると思います。

    class Program
    {
        [StructLayout(LayoutKind.Sequential, Pack = 1)]
        public unsafe struct Data1
        {
            public uint member1;
            public uint member2;
            public fixed uint member3[128];
        };

        [StructLayout(LayoutKind.Sequential, Pack = 1)]
        public struct Data2
        {
            public uint member1;
            public uint member2;
            [MarshalAs(UnmanagedType.ByValArray, SizeConst = 128)]
            public uint[] member3;
        };

        static void Main(string[] args)
        {
            try
            {
                unsafe
                {
                    var dat1 = new Data1();
                    dat1.member1 = 1;
                    dat1.member2 = 2;
                    for (uint i = 0; i < 128; i++)
                    {
                        dat1.member3[i] = i;
                    }

                    var ptr1 = &dat1;
                    var dat2 = Marshal.PtrToStructure<Data2>((IntPtr)ptr1);
                    //var ptr2 = &dat2; //これはコンパイルエラー
                    var ptr2 = Unsafe.AsPointer(ref dat2);
                    var span1 = new Span<uint>((void*)ptr1, 130);
                    var span2 = new Span<uint>((void*)ptr2, 130);
                    var ref_dat1_Data1 = Unsafe.AsRef<Data1>((void*)ptr1);
                    var ref_dat2_Data1 = Unsafe.AsRef<Data1>((void*)ptr2);
                    var ref_dat1_Data2 = Unsafe.AsRef<Data2>((void*)ptr1);
                    var ref_dat2_Data2 = Unsafe.AsRef<Data2>((void*)ptr2);

                    Console.ReadLine();
                }
            }
            catch (Exception ex)
            {
                Console.Write(ex.ToString());
            }
        }
    }

Comments

[ttact]

とても詳細で明快なご回答、どうもありがとうございます。Blittable 型と非Blittable型について知らなかったのですが、C言語と厳密にメモリレイアウトを合わせるために何をすれば明確になりました。