巨大なjsonファイルをloadする際について

Question

巨大なサイズのjsonファイルを

with open("need_data/raw_dict.json") as f:
    lines = json.load(f)

でロードしようとすると、エラーが発生致します。
[Errno 22] Invalid argument

また、

with open("need_data/raw_dict.json") as f:
    lines = f.readlines()

でロードをするとlinesに配列が入り、その中身が辞書型でなく、文字列になります。

巨大なjsonファイルをロードした際に、中身が辞書型、シリアライズした時の型のままロードする方法はありますでしょうか。

分かる方、よろしくお願いいたします。

Comments

[umyu]

巨大なサイズとは具体的にどれぐらいのサイズですか？

[PythonGood]

3G以上のファイルです。

Answer 1

3G以上のファイルです。

DOMじゃなくてSAXベースのjsonパーサーを使うとよいのでは。
「python json sax parser」でググるとこれがHITしました。
json-streamer

仕様変更できるのであれば。
・処理対象のJSONのファイルサイズを減らす。
・JSON形式以外のデータ構造にする。
・JSONの項目を可逆圧縮する。ライブラリがありそうな気がします。

大人の事情があると思いますが、INメモリで3GBのデータを扱うのはどうかと思います。。。

---

◇追記

with open("need_data/raw_dict.json") as f:
lines = f.readlines()
でロードをするとlinesに配列が入り、

この記述が気になったので調べました。
OSError: [Errno 22] when I try to .read() a json file

It appears that this is some kind of bug that occurs when the file is too large (my file was ~10GB). Once I use split to break up the file by 200 k lines, the .read() error goes away. This is true even if the file is not in strict json format.

メモリ不足以外に不正なJSON形式でもInvalid argumentの例外が発生するとのことです。
不正確な回答申し訳ないです。

Comments

[tachikoma]

ijsonも似たようなものでしょうか。https://pypi.org/project/ijson/

[umyu]

@tachikomaさんへ
情報ありがとうございます。ドキュメントを見る限りでは似たような感じですね。

[PythonGood]

お二方、情報ありがとうございます。
json-streamer, ijson
参考にさせていただきます。
また、不正なJSON形式ですが、
with open("need_data/raw_dict.json") as f:
lines = f.readlines()
で読み込める、また、JSONを作成するときに他のJSONも同様に作成し、
サイズの小さいJSONは読み込めるので、不正なJSON形式ではないと思われます。