python パース方法のご相談

Question

こんにちは

json_normalizeでパースしたJSONの一部が以下のような形になっており、これをweather_id列名の502、weather_main列名のRainといったデータフレームにしたいのですが、実装方法のアイデアがある方がいましたら、ご教授いただきたいです。

weather
"[{'id': 502, 'main': 'Rain', 'description': 'heavy intensity rain', 'icon': '10d'}]"

Answer 1

元のjsonデータに、
'weather':"[{'id': 502, 'main': 'Rain', 'description': 'heavy intensity rain', 'icon': '10d'}]"
というデータが入っているということでよろしいですか？
（要するにキー'weather'のデータがリテラルになっている）

ast.literal_evalでリテラルを配列・辞書データへ変換できます。
normalizeする前にごっそり変換してしまえばよいでしょう。

あとはnormalize時に適切にrecord_path, record_prefixを付与すれば目的のデータ形式が出力できるかと。

# テストデータ
jsondata = [{'name': 'Alice', 'weather':"[{'id': 502, 'main': 'Rain', 'description': 'heavy intensity rain', 'icon': '10d'}]"},
            {'name': 'Bob','weather':"[{'id': 101, 'main': 'Fine', 'description': 'Fine weather', 'icon': '1d'}]"}]

# もし'weather'の中身がリテラルでなければこの処理は不要
for d in jsondata:
    d['weather'] = ast.literal_eval(d['weather'])

print(pd.io.json.json_normalize(jsondata, record_path='weather', record_prefix='weather_'))
'''
出力結果：
   weather_id weather_main   weather_description weather_icon
0         502         Rain  heavy intensity rain          10d
1         101         Fine          Fine weather           1d
'''