20MB以上のjsonファイルをcsvに変換したいです。

Question

オンラインのブラウザ上で使用可能な、jsonファイルをcsvに変換できるコンバーターは概ね試してみましたが、20MBというデータ容量が大きいせいか、途中で固まったり、読み込んでくれなかったりと上手く最後まで変換ができません。

また、Excel上で直接jsonファイルを読み込む方法も試しましたが、行が異常に増えてしまって思うような変換になりません。

さらにPythonで以下のようなコードを書いて試してみましたが、行列が整わなかったり、エラーが出たりして上手くいきませんでした。

手段は問いませんので、解決方法を教えていただけないでしょうか？

import pandas as pd
df = pd.read_json("ooo.json", encoding="UTF-8")
df.to_csv("ooo.csv", encoding="UTF-8")

import json
import pandas
import pandas.io.json

df = pandas.read_json(open("ooo.json", "r",encoding = "utf8"),lines = True)
df = pandas.io.json.json_normalize(json_list)

csv_data = df.to_csv()
csv_data = csv_data.encode("cp932", "ignore")

fp = open("ooo.csv", "wb")
fp.write(csv_data)
fp.close()

Comments

[peperoncino000]

20MB程度で動かないのはあまり考えられないのですが、エラーメッセージはどのように出ていますか？

[Takumiboo]

csvでは表せないjsonの構造というのも存在しますが、csvはどういった構造なんでしょう？

[kkz]

データ容量がネックになっていると思われるのはブラウザで変換する方法と、Excelで変換する方法です。
Pythonの方は、データ容量が原因ではないと思っています。
１つ目のコードの実行結果はエラーはありません。ただ、Excelの縦の列が分割されずに表示されるため、イメージと異なります。
２つ目のコードの実行結果は、
df = pandas.read_json(open("ooo.json", "r",encoding = "utf8"),lines = True)
この部分で下記のようなエラーが出ます。
```
ValueError: Expected object or value
```

[peperoncino000]

jsonファイルにシングルクォートが含まれていたりしますか？

[kkz]

Takumibooさん
＞同じ構造でデータ容量が少ないjsonファイルを、オンラインのブラウザ上で変換する方法で試したところ、理想的なcsvデータに変換されましたので、csvで表せない構造ではないと思われます。

[Takumiboo]

https://note.nkmk.me/python-pandas-read-json/
この記事や1つ目の例と、2つ目の例とでpandas.read_jsonの使い方が違うようですが、いかがでしょう。

[kkz]

peperoncino000さん
＞シングルクォートは含まれておりません。

[meg_]

「Excelの縦の列が分割されずに表示される」とはどういうことでしょうか？
画像を載せると分かりやすいかと思います。

Answer 1

全部取り込んで処理できないと言うなら、CSV1行分づつ読み込んで変換して、順番に書き出すなどやってみればいいのでは。