3ギガバイト相当のjsonをデシリアライズしたい

3ギガバイトほどのjsonファイルをデシリアライズする方法はありませんか？

Utf8Json・DataContractJsonSerializerの2つで試しましたが、両方とも失敗しました。

Utf8Jsonはデシリアライズ中に内部でハングアップ。
DataContractJsonSerializerはハングアップこそしないものの、メモリ量が大きすぎてパソコン自体が動かなくなりました。

デシリアライズする方法はないのでしょうか。
正直jsonのデシリアライズをあきらめてSqlなどのデータベースに移行するぐらいしか解決方法が思いつきません。
なにかいい方法はないでしょうか。

C#
1        static bool Load(string filename, Type type, out object outData, bool isBackup)
2        {
3            if (!System.IO.File.Exists(filename))
4            {
5                outData = null;
6                return false;
7            }
8#if UTF8Jsonの場合
9            outData = null;
10            try
11            {
12                System.IO.FileStream fs = new System.IO.FileStream(
13                    filename,
14                    System.IO.FileMode.Open,
15                    System.IO.FileAccess.Read);
16                outData = JsonSerializer.NonGeneric.Deserialize(type, fs);
17            }
18            catch (Exception ex)
19            {
20                outData = null;
21            }
22#else
23            System.IO.FileStream fs = null;
24            try
25            {
26                var serializer = new DataContractJsonSerializer(type, GetSerTypes(type).Where(ldata => ldata != type));
27                fs = new System.IO.FileStream(filename, System.IO.FileMode.Open, System.IO.FileAccess.Read);
28                outData = serializer.ReadObject(fs);
29            }
30            catch (Exception ex)
31            {
32                outData = null;
33            }
34            fs?.Close();
35#endif
36        }

m.ts10806

2019/08/23 05:55

JSON自体を分割するのは難しいのでしょうか。

len_souko

2019/08/23 06:56

動作環境ってOSはなんですか？32bit／64bitのどちらですか？また、メインメモリは何GB積んでいますか？

行動規範の内容に同意します

回答5件

たとえそれをデシリアライズする方法があったとしても、データベースに移行してください。そうすべき規模です。

投稿2019/08/23 05:55

Zuishin

総合スコア28660

JSONだとすべてを読み込んで初めて意味があるので肥大化させて手に負えなくなった時点で
あれこれ考えてもむずかしいでしょうね
JSON形式自体そもそも中間ファイルでしかないわけですから
CSVなど行ごとにレコードをもつ形式に切り替えない限り
まっとうな運用は諦めたほうがよいでしょう
（もしくは無尽蔵のメモリをつむとか・・・・）

投稿2019/08/23 06:23

yambejp

総合スコア114777

ベストアンサー

案１：何らかのやり方でJSONを分割する

例えば、以下のようなJSONだとしたら、

json
1// file.json
2{
3    "Property000001" : "ABCDE",
4    "Property000002" : "FGHIJ",
5    // 略
6    "Property999998" : "ABCDE",
7    "Property999999" : "FGHIJ",
8}

以下のように分割するとか。

json
1// file0001.json
2{
3    "Property000001" : "ABCDE",
4    "Property000002" : "FGHIJ",
5    // 略
6    "Property000100" : "ABCDE",
7}
8
9// file0002.json
10{
11    "Property000101" : "ABCDE",
12    "Property000102" : "FGHIJ",
13    // 略
14    "Property000200" : "ABCDE",
15}
16
17// （以下、同様に分割）

案２：大きなメモリを持つ環境で試す

DataContractJsonSerializerはハングアップこそしないものの、メモリ量が大きすぎてパソコン自体が動かなくなりました。

メモリが足りなければメモリが大きい環境で動かせばよい、という考え方です。
AWSやAzureで、大量にメモリを積んだ環境を借りるのが簡単かもしれません。
もちろんお金はかかりますので、この問題の解決にどれだけのコストをかけられるのか、というのはあります。

投稿2019/08/23 06:49

alg

総合スコア2019

alg

2019/08/23 07:09

（参考）Azureなら、B20MSインスタンス（メモリ80GiB）が1時間で約130円、D64s v3インスタンス（メモリ256GiB）が1時間で約800円、で借りられますね。https://azure.microsoft.com/ja-jp/pricing/details/virtual-machines/windows/