python jsonの配列から任意のkeyを複数指定していっぺんにvalueを取得する方法を教えてください

jsons = [{
    "user": {
        "updatedAt": "2020-04-01",
        "id": "0001",
        "name": "taro",
        "status": {
            "level": "1",
            "hp": "100",
            "atk": "120",
        },
    }
},
{
    "user": {
        "updatedAt": "2020-04-02",
        "id": "0002",
        "name": "hanako",
        "status": {
            "level": "2",
            "hp": "130",
            "atk": "150",
        },
    }
}]

上記のようなjsonデータを用いて、string型の任意のキーのルートを示す値を渡すことで、そのキーに対応するデータをDataFarmeとして出力するように実装したのが下記になります。

def json_to_df(jsons, str_keys):
    keys= str_keys.split(".")
    res = []

    for json in jsons :
        for i, key in enumerate(keys):
            if key in json :
                json = json [key]
            else:
                return None
            if i >= len(keys) - 1:
                res.append(json)
    return pd.DataFrame(res, columns=[keys[-1]])

これを実行すると

    res = json_to_df(jsons, "user.name")
    print(res)

#   name
0  taro
1  hanako

のように取得できます。
ただ、求めているものは、

res= json_to_df(jsons, ["user.name","user.id","user.status.level"])
print(res)
#   name  id  level
0  taro  0001  1
1  hanako  0002  2

のように引数に複数のキールートを指定することで２つ以上のカラムを出力するようしたいです。
強引にfor文を使えばできなくもなさそうですが、2重ループにも3重ループにもなりそうで処理的に無駄が多いような気がしてなりません...
そもそもjson_to_dfのような実装じゃなくて、もっと簡単な手法などがありましたらご教授お願いします。

行動規範の内容に同意します

回答3件

質問が閉じてしまっているようですが。

json_normalizeをdict化されたJSONデータに適用すると
正に要望通りのDataFrame型に変換してくれるので、
後はそのDataFrameにlistでcolumn名を指定すればそのまま取得することができます。

python
1df = pd.json_normalize(jsons)
2print(df)
3'''
4  user.updatedAt user.id user.name user.status.level user.status.hp user.status.atk
50     2020-04-01    0001      taro                 1            100             120
61     2020-04-02    0002    hanako                 2            130             150
7'''
8
9print(df[['user.name', 'user.id', 'user.status.level']])
10'''
11  user.name user.id user.status.level
120      taro    0001                 1
131    hanako    0002                 2
14'''

投稿2020/09/18 07:39

編集2020/09/18 07:43

yureighost

総合スコア2183

taiki9121

2020/09/22 07:50

ありがとうございます！ pandasはまだ使い慣れていないので助かりました！

行動規範の内容に同意します

ベストアンサー

面白そうなので作ってみました。
pandasには詳しくないので、もっと簡単に解決する方法があるかもしれませんが。

Python
1def map_getitem_(dct_lst, *attrs):
2    if not attrs:
3        return dct_lst
4
5    attr, *rest = attrs
6    return map_getitem_(
7        (dct[attr] for dct in dct_lst), *rest
8    )
9
10def map_getitem(dct_lst, attrs_txt):
11    return map_getitem_(dct_lst, *attrs_txt.split('.'))
12    
13def json_to_df(jsons, keys_txt):
14    df = pd.DataFrame(
15        data={
16            keys: map_getitem(jsons, keys) for keys in keys_txt
17        },
18    )
19    df.columns = df.columns.map(lambda e: e.split('.')[-1])
20    
21    return df

Python
1print(list(map_getitem_(jsons, 'user', 'name')))   # => ['taro', 'hanako']
2print(list(map_getitem(jsons, 'user.name')))       # => ['taro', 'hanako']
3print(
4    json_to_df(jsons, ['user.name', 'user.id', 'user.status.level'])
5)
6# =>      name    id level
7#    0    taro  0001     1
8#    1  hanako  0002     2