ネストされたJSONのCSV変換

Question

前提・実現したいこと

ネストされた以下のようなJSONをCSVに変換したいのですが、いろいろ試してみたものの、どう扱っても上手く処理できません。

どなたか変換する方法をご教授頂けないでしょうか。

{
    "masterNumber": 10000,
    "code": "m-001",
    "customerData": {
        "name": "Jiro",
        "age": 45
    },
    "Address": [{
        "name": "testAreport",
        "email": "[e-mail]"
    }],
    "items": [{
        "itemId": "item01",
        "itemName": "商品01"
        },
        {
        "itemId": "item02",
        "itemName": "商品02"
        },
        {
        "itemId": "item03",
        "itemName": "商品03"
    }]
}

"masterNumber","code","customerData__name","customerData__age","Address__name","Address__email","items__itemId","items__itemName"
"10000","m-001","Jiro","45","testAreport","[e-mail]","item01","商品01"
"","","","","","","item02","商品02"
"","","","","","","item03","商品03"

試したこと

json_normalizeというモジュールを使ってみたのですが、期待する結果のように変換できませんでした。

import json 
from pandas.io.json import json_normalize #package for flattening json in pandas df

sample_object = {'Name':'John', 'Location':{'City':'Los Angeles','State':'CA'}}
json_normalize(sample_object)

Comments

[meg_]

> 期待する結果のように変換できませんでした。
ではどうなったのでしょうか？

[toast-uz]

csvという手段は2次元の数値列や文字列を表現するものであって、「ネストされたJSON」を表現するのには適切ではないと思います。単にファイルに書き出したいだけであれば、JSONの形で書き出すべきです。いまの質問では、質問者様がcsvという手段を勘違いしているように思われますので、回答がつきにくいと思います。なぜcsvなのか、という目的・理由をもう少し記載ください。

[tij8og1n9nm8]

アドバイスありがとうございます。
CSVというより、人が目視で大まかな内容を確認したいため、1次元に変換したいが意図になります。

背景としては以下の通りです。
* 検索条件を出力した大量のJSONファイルがある（形式も様々なため、クラス定義などは行えない）
* その内容によって、営業アクションを行うため一覧形式で検索条件を確認したい
* このため、JSON形式をそのまま見るのは辛いので、内容が把握できる程度に可読性をあげたい
* 都合上、画面などを作るほどの工数や期間はないためなるべく省力で解決したい

[toast-uz]

質問者様の要望は、オブジェクト1つ1つを、1行1行で出力して、可読性と一覧性をあげたい、あまり工数をかけずに、ということですよね？csvかjsonかは本質的ではないと受け取りました。
普通にjson.dumpすると要望通りに出力されると思うのですが、試されたのでしょうか？
csvで出力しようとしたらつまずいた、という情報だけで、jsonで出力しようとしたら何の課題があったのかが不明です。Pythonのjson出力は、例示されたようなキレイな形しかできないという勘違いがあるのでは？

[tij8og1n9nm8]

？？？

Answer 1

こういうときは、まず、シリアライズする必要がありますが、そんなときにはその構造(この場合はjson)をすべて舐める必要があります。そういう処理を「walk」と言います。

"python json walk"で検索して最初に出てきたサイトからもらった処理がこれです。
スタックオーバーフローでした

def dict_generator(indict, pre=None):
    pre = pre[:] if pre else []
    if isinstance(indict, dict):
        for key, value in indict.items():
            if isinstance(value, dict):
                for d in dict_generator(value, pre + [key]):
                    yield d
            elif isinstance(value, list) or isinstance(value, tuple):
                for v in value:
                    for d in dict_generator(v, pre + [key]):
                        yield d
            else:
                yield pre + [key, value]
    else:
        yield pre + [indict]

↑これを使って、↓こんな処理をすると、

with open('sample.json', 'r', encoding='utf-8') as f:
    d = json.load(f)

x = list(dict_generator(d, []))

xはこうなります。

[['masterNumber', 10000],
 ['code', 'm-001'],
 ['customerData', 'name', 'Jiro'],
 ['customerData', 'age', 45],
 ['Address', 'name', 'testAreport'],
 ['Address', 'email', '[e-mail]'],
 ['items', 'itemId', 'item01'],
 ['items', 'itemName', '商品01'],
 ['items', 'itemId', 'item02'],
 ['items', 'itemName', '商品02'],
 ['items', 'itemId', 'item03'],
 ['items', 'itemName', '商品03']]

各リストの最後が値で、残りがデータのパスになっています。
ここからデータを抽出して、csvに書き出せばできますね。

、